Lỗi SparkR trong sparkR.init (master = "local") trong RStudio

Question

Tôi đã cài đặt gói SparkR từ phân phối Spark vào thư viện R. Tôi có thể gọi lệnh sau và có vẻ như để làm việc đúng cách: library(SparkR)

Tuy nhiên, khi tôi cố gắng để có được những bối cảnh Spark sử dụng đoạn mã sau,

sc <- sparkR.init(master="local") 

Nó thất bại sau một thời gian với thông báo sau:

Error in sparkR.init(master = "local") : 
    JVM is not ready after 10 seconds 

Tôi đã đặt JAVA_HOME và tôi có RStudio đang hoạt động để tôi có thể truy cập các gói khác như ggplot2. Tôi không biết tại sao nó không hoạt động, và tôi thậm chí không biết phải điều tra vấn đề ở đâu.

Answer 1

Tôi gặp sự cố tương tự và tệp spark-submit.cmd của tôi cũng không thực thi từ dòng lệnh. Các bước sau đã làm việc cho tôi

Chuyển đến biến môi trường của bạn và trong biến hệ thống, hãy chọn tên biến PATH. Cùng với các giá trị khác, hãy thêm c:/Windows/System32/ được phân tách bằng dấu chấm phẩy. Điều này làm cho spark-submit.cmd của tôi chạy từ dòng lệnh và cuối cùng là từ Rstudio.

Tôi đã nhận ra rằng chúng tôi chỉ gặp vấn đề trên nếu tất cả các giá trị đường dẫn yêu cầu không được chỉ định. Đảm bảo tất cả các giá trị đường dẫn của bạn (R, Rtools) được chỉ định trong các biến môi trường. Ví dụ: đường dẫn Rtools của tôi là c:\Rtools\bin;c:\Rtools\gcc-4.6.3\bin

Tôi hy vọng điều này sẽ hữu ích.

Answer 2

Cố gắng cấp quyền thực thi C: /sparkpath/bin/spark-submit.cmd. Điều đó làm việc cho tôi.

Answer 3

Tôi nhận được thông báo lỗi chính xác. Trường hợp của tôi có một chút khác biệt, như trong tôi đã chạy SparkR trong RStudio thành công trước đây. Nhưng sau vài ngày, nó không hoạt động nữa.

Bằng cách xem chuyển đổi giữa Shivaram Venkataraman và Prakash Ponshankaarchinnusamy, tôi nhận ra điều này có thể có liên quan đến việc cho phép chạy.

https://issues.apache.org/jira/browse/SPARK-8603

Vì vậy, những gì tôi đã làm, mà cuối cùng làm việc, đó là, tôi giải nén tar.gz spark đến C của tôi:/thư mục một lần nữa (trước đây nó được giữ trong D:/ổ) VÀ SparkR WORKS! !!

screenshot of working RStudio

Answer 4

Sau khi cài đặt Hadoop, sau đó là Spark.

spark_path <- strsplit(system("brew info apache-spark",intern=T)[4],' ')[[1]][1] # Get your spark path .libPaths(c(file.path(spark_path,"libexec", "R", "lib"), .libPaths())) library(SparkR