Kích hoạt công việc tạo tia lửa với REST

Question

Tôi đã cố gắng hết sức để thử apache spark. Câu hỏi của tôi là cụ thể hơn để kích hoạt công việc tia lửa. Here Tôi đã đăng câu hỏi về việc tìm hiểu công việc về tia lửa. Sau khi nhận được công việc bẩn thỉu tôi chuyển sang yêu cầu của tôi.

Tôi có điểm kết thúc REST nơi tôi hiển thị API để kích hoạt Công việc, tôi đã sử dụng Spring4.0 để thực hiện Rest. Bây giờ, tôi đã nghĩ đến việc triển khai Jobs là Service vào mùa xuân, nơi tôi sẽ gửi Job theo chương trình, có nghĩa là khi điểm cuối được kích hoạt, với các tham số đã cho, tôi sẽ kích hoạt công việc. Tôi hiện có ít tùy chọn thiết kế.

• Tương tự như công việc dưới đây, tôi cần duy trì một số Công việc được gọi bởi lớp trừu tượng có thể là JobScheduler.

  /*Can this Code be abstracted from the application and written as 
      as a seperate job. Because my understanding is that the 
  Application code itself has to have the addJars embedded 
  which internally sparkContext takes care.*/ 
  
  SparkConf sparkConf = new SparkConf().setAppName("MyApp").setJars(
  new String[] { "/path/to/jar/submit/cluster" }) 
  .setMaster("/url/of/master/node"); 
      sparkConf.setSparkHome("/path/to/spark/"); 
  
       sparkConf.set("spark.scheduler.mode", "FAIR"); 
       JavaSparkContext sc = new JavaSparkContext(sparkConf); 
       sc.setLocalProperty("spark.scheduler.pool", "test"); 
  
      // Application with Algorithm , transformations 
  

• Mở rộng điểm trên có nhiều phiên bản lệnh được xử lý bởi dịch vụ.

• Hoặc người nào khác sử dụng Máy chủ công việc Spark để thực hiện việc này.

Đầu tiên, tôi muốn biết giải pháp tốt nhất trong trường hợp này, thực hiện khôn ngoan và cũng mở rộng quy mô khôn ngoan là gì.

Lưu ý: Tôi đang sử dụng cụm độc lập từ tia lửa. vui lòng trợ giúp.

Answer 1

Chỉ cần sử dụng Spark JobServer https://github.com/spark-jobserver/spark-jobserver

Có rất nhiều điều cần xem xét với thực hiện một dịch vụ, và Spark JobServer đã nhất trong số họ bao phủ rồi. Nếu bạn tìm thấy những thứ không đủ tốt, sẽ dễ dàng thực hiện yêu cầu và thêm mã vào hệ thống của họ thay vì phát minh lại mã đó từ đầu

Answer 2

Hóa ra Spark có API REST ẩn để gửi công việc, kiểm tra trạng thái và giết.

Kiểm tra ví dụ đầy đủ ở đây: http://arturmkrtchyan.com/apache-spark-hidden-rest-api

Answer 3

Đây là một khách hàng tốt mà bạn có thể thấy hữu ích: https://github.com/ywilkof/spark-jobs-rest-client

Answer 4

này có thể hữu ích quá: livy.