Làm thế nào để dễ dàng triển khai Jar của tôi sang Spark Cluster ở chế độ độc lập?

Question

Tôi có một cụm nhỏ với 3 máy và một máy khác để phát triển và thử nghiệm. Khi phát triển, tôi đặt SparkContext thành local. Khi mọi thứ đều ổn, tôi muốn triển khai tệp Jar tôi xây dựng cho mỗi nút. Về cơ bản tôi tự di chuyển jar này để cluster và sao chép vào HDFS được chia sẻ bởi cluster. Sau đó, tôi có thể thay đổi mã thành:

//standalone mode 
val sc = new SparkContext(
    "spark://mymaster:7077", 
    "Simple App", 
    "/opt/spark-0.9.1-bin-cdh4", //spark home 
    List("hdfs://namenode:8020/runnableJars/SimplyApp.jar") //jar location 
) 

để chạy mã trong IDE của tôi. Câu hỏi của tôi: Có cách nào dễ dàng hơn để di chuyển cái bình này đến cụm sao?

Answer 1

Trong Spark, chương trình tạo SparkContext được gọi là 'trình điều khiển'. Đó là đầy đủ rằng tệp jar với công việc của bạn có sẵn cho hệ thống tệp cục bộ của trình điều khiển để nó có thể lấy nó và gửi nó đến chủ/công nhân.

Trong bê tông, cấu hình của bạn sẽ trông giống như:

//favor using Spark Conf to configure your Spark Context 
val conf = new SparkConf() 
      .setMaster("spark://mymaster:7077") 
      .setAppName("SimpleApp") 
      .set("spark.local.ip", "172.17.0.1") 
      .setJars(Array("/local/dir/SimplyApp.jar")) 

val sc = new SparkContext(conf) 

Dưới mui xe, người lái xe sẽ bắt đầu một máy chủ mà người lao động sẽ tải về file jar (s) từ tài xế. Do đó, điều quan trọng (và thường là một vấn đề) mà các công nhân có quyền truy cập mạng vào trình điều khiển. Điều này thường có thể được đảm bảo bằng cách thiết lập 'spark.local.ip' trên trình điều khiển trong mạng có thể truy cập/định tuyến từ công nhân.