Các giai đoạn trong một ứng dụng có chạy song song trong tia lửa không?

Question

Tôi có một nghi ngờ rằng, làm thế nào để các giai đoạn thực hiện trong một ứng dụng tia lửa. Có bất kỳ sự nhất quán trong việc thực hiện các giai đoạn có thể được xác định bởi lập trình viên hay nó có nguồn gốc từ động cơ tia lửa không?

Answer 1

Kiểm tra các thực thể (giai đoạn, phân vùng) trong pic này:

pic credits

Liệu giai đoạn trong một công việc (? Spark ứng dụng) chạy song song trong tia lửa?

Có, chúng có thể được thực thi song song nếu không có sự phụ thuộc tuần tự.

Ở đây phân vùng giai đoạn 1 và giai đoạn 2 có thể được thực hiện song song nhưng không phải phân đoạn giai đoạn 0, do phân đoạn phụ thuộc trong giai đoạn 1 & 2 phải được xử lý.

Có sự nhất quán nào trong việc thực hiện các giai đoạn có thể được xác định bởi lập trình viên hoặc nó sẽ được khởi động bằng công cụ phát tia lửa không?

Ranh giới giai đoạn được xác định khi xáo trộn dữ liệu xảy ra giữa các phân vùng. (kiểm tra các đường màu hồng trong ảnh)

Answer 2

Làm thế nào để các giai đoạn thực hiện trong một công việc Spark

Các giai đoạn của một công việc có thể chạy song song nếu không có sự phụ thuộc giữa chúng.

Trong Spark, các giai đoạn được phân tách bằng các đường viền. Bạn có một giai đoạn ngẫu nhiên, đó là giai đoạn ranh giới nơi các phép biến đổi được chia tách, tức là reduceByKey và bạn có một giai đoạn kết quả, là các giai đoạn nhất định mang lại kết quả mà không gây ra ngẫu nhiên, tức là hoạt động map:

(Picture provided by Cloudera)

Kể từ groupByKey là một giai đoạn phát ngẫu nhiên, bạn sẽ thấy sự chia rẽ trong hộp màu hồng đánh dấu một ranh giới.

Nội bộ, một giai đoạn được chia thành các công việc. ví dụ: trong hình ở trên, hàng đầu tiên thực hiện textFile -> map -> filter, có thể được chia thành ba tác vụ, một cho mỗi chuyển đổi.

Khi một đầu ra biến đổi là một đầu vào biến đổi khác, chúng ta cần thực thi nối tiếp. Tuy nhiên, nếu các giai đoạn không liên quan, tức là hadoopFile -> groupByKey -> map, chúng có thể chạy song song. Một khi họ tuyên bố một sự phụ thuộc giữa họ từ giai đoạn đó họ sẽ tiếp tục thực hiện serially.