Cách phân công công việc cho người thực thi trong Spark Streaming?

Question

Giả sử tôi có từ 2 người thực thi trở lên trong ứng dụng Phát trực tuyến.

Tôi đã đặt thời gian bó là 10 giây, do đó, công việc được bắt đầu sau mỗi 10 giây đọc đầu vào từ HDFS của tôi.

Nếu mỗi công việc kéo dài hơn 10 giây, công việc mới được bắt đầu được gán cho người thực thi miễn phí phải không?

Ngay cả khi trước đó không kết thúc?

Tôi biết nó có vẻ như một câu trả lời rõ ràng nhưng tôi đã không tìm thấy bất cứ điều gì về lập kế hoạch công việc trong trang web hoặc trên giấy liên quan đến Spark Streaming.

Nếu bạn biết một số liên kết nơi tất cả những điều đó được giải thích, tôi thực sự đánh giá cao để xem chúng.

Cảm ơn bạn.

Answer 1

Thực tế, trong việc triển khai Spark Streaming hiện tại và theo cấu hình mặc định, chỉ có công việc đang hoạt động (tức là đang được thực hiện) tại bất kỳ thời điểm nào. Vì vậy, nếu quá trình xử lý của một lô mất nhiều hơn 10 giây thì công việc của đợt tiếp theo sẽ vẫn được xếp hàng đợi.

Điều này có thể được thay đổi bằng thuộc tính Spark thử nghiệm "spark.streaming.concurrentJobs" theo mặc định được đặt thành 1. Hiện tại, tài liệu không được ghi lại (có thể tôi nên thêm tài liệu này).

Lý do được đặt thành 1 là các công việc đồng thời có thể dẫn đến chia sẻ tài nguyên lạ và có thể gây khó khăn cho việc gỡ lỗi liệu có đủ tài nguyên trong hệ thống để xử lý dữ liệu được nhập đủ nhanh hay không. Chỉ với 1 công việc chạy cùng một lúc, rất dễ thấy rằng nếu thời gian xử lý hàng loạt là < khoảng thời gian, thì hệ thống sẽ ổn định. Cấp rằng đây có thể không phải là cách sử dụng tài nguyên hiệu quả nhất trong những điều kiện nhất định. Chúng tôi chắc chắn hy vọng sẽ cải thiện điều này trong tương lai.

Có một ít tài liệu về nội dung của Spark Streaming trong meetup trang trình bày này (xin lỗi, về quảng cáo tự xấu hổ :)). Điều đó có thể hữu ích cho bạn.