Khái niệm về ứng dụng, công việc, giai đoạn và nhiệm vụ là gì?

Question

Sự hiểu biết của tôi có đúng không?

1. Ứng dụng: một lần gửi tia lửa.

2. công việc: khi đánh giá lười biếng xảy ra, có một công việc.

3. giai đoạn: Nó liên quan đến trộn và loại chuyển đổi. Thật khó để tôi hiểu ranh giới của sân khấu.

4. công việc: Đây là thao tác đơn vị. Một chuyển đổi cho mỗi tác vụ. Một nhiệm vụ cho mỗi chuyển đổi.

Trợ giúp muốn cải thiện sự hiểu biết này.

Answer 1

Chức năng chính là ứng dụng.

Khi bạn gọi một hành động trên RDD, "công việc" được tạo. Công việc là công việc được gửi tới Spark.

Công việc được chia thành "giai đoạn" dựa trên ranh giới ngẫu nhiên. This có thể giúp bạn hiểu.

Mỗi giai đoạn được chia thành các tác vụ dựa trên số lượng phân vùng trong RDD. Vì vậy, nhiệm vụ là các đơn vị nhỏ nhất của công việc cho Spark.