Chạy Mô hình R bằng cách sử dụng SparkR

Question

Cảm ơn trước về đầu vào của bạn. Tôi là một newbie để ML. Tôi đã phát triển một mô hình R (sử dụng R studio trên địa phương của tôi) và muốn triển khai trên cụm hadoop có R Studio được cài đặt. Tôi muốn sử dụng SparkR để tận dụng tính toán hiệu suất cao. Tôi chỉ muốn hiểu vai trò của SparkR ở đây.

SparkR có cho phép mô hình R chạy thuật toán trong Spark ML trên cụm Hadoop không?

HOẶC

Will SparkR phép chỉ xử lý dữ liệu và vẫn là thuật toán ML sẽ chạy trong bối cảnh của R trên Hadoop Cụm?

Đánh giá cao ý kiến ​​của bạn.

Answer 1

Đây là những câu hỏi chung, nhưng chúng thực sự có câu trả lời đơn giản & đơn giản: không (cho cả hai); SparkR wiil không làm gì cả.

Từ phần Tổng quan về SparkR docs:

SparkR là một gói phần mềm R cung cấp một lối nhẹ để sử dụng Apache Spark từ R.

SparkR có thể thậm chí không đọc mẹ đẻ R mô hình. Ý tưởng đằng sau việc sử dụng SparkR cho nhiệm vụ ML là bạn phát triển mô hình của mình cụ thể trong SparkR (và nếu bạn thử, bạn cũng sẽ khám phá ra rằng nó là nhiều hơn nữa limited so với rất nhiều mô hình có sẵn trong R thông qua các gói khác nhau).

Thậm chí các tiện ích như, chẳng hạn như confusionMatrix từ gói caret, không khả dụng vì chúng hoạt động trên các khung dữ liệu R chứ không phải trên các khung dữ liệu Spark (xem this question & answer).