Kết nối sparklyr với kết nối tia lửa từ xa

Question

Tôi muốn kết nối phiên RStudio trên máy tính để bàn cục bộ của mình với phiên khởi động từ xa qua sparklyr. Khi bạn đi để thêm một kết nối mới trong tab sparklyr ui trong RStudio và chọn cụm là nói rằng bạn phải chạy trên cụm, hoặc có một kết nối băng thông cao cho cụm.

Có ai có thể làm sáng tỏ cách tạo loại kết nối đó không? Tôi không chắc chắn làm thế nào để tạo ra ví dụ tái sản xuất này, nhưng nói chung những gì tôi muốn làm là:

library(sparklyr) 
sc <- spark_connect(master = "spark://ip-[MY_PRIVATE_IP]:7077", spark_home = "/home/ubuntu/spark-2.0.0", version="2.0.0") 

từ máy chủ từ xa. Tôi hiểu rằng sẽ có độ trễ, đặc biệt nếu cố gắng chuyển dữ liệu giữa các điều khiển từ xa. Tôi cũng hiểu rằng sẽ tốt hơn nếu có máy chủ rstudio trên cụm thực tế - nhưng điều đó không phải lúc nào cũng có thể, và tôi đang tìm kiếm một tùy chọn lấp lánh để tương tác giữa máy chủ của tôi và phiên RStudio trên máy tính để bàn của tôi. Cảm ơn.

Answer 1

Kể từ sparklyr phiên bản 0.4, không được hỗ trợ để kết nối từ máy tính để bàn RStudio với cụm Spark từ xa. Thay vào đó, như bạn đề cập, cách tiếp cận được khuyến nghị là cài đặt RStudio Server trong cụm Spark.

Điều đó nói rằng, livy branch trong sparklyr đang khám phá tích hợp với Livy để cho phép máy tính để bàn RStudio kết nối với cụm từ xa Spark thông qua Livy.