Trong chương trình Apache Spark, làm thế nào để chúng ta biết phần nào của mã sẽ thực thi trong chương trình điều khiển và phần nào của mã sẽ thực hiện trong các nút của nhân viên?phân biệt mã trình điều khiển và mã làm việc trong Apache Spark
Với kính trọng
Nó thực sự khá đơn giản. Mọi thứ xảy ra bên trong bao đóng được tạo ra bởi sự biến đổi xảy ra trên một công nhân. Nó có nghĩa là nếu một cái gì đó được thông qua bên trong map(...), filter(...), mapPartitions(...), groupBy*(...), aggregateBy*(...) được thực hiện trên công nhân. Nó bao gồm các dữ liệu đọc từ một lưu trữ liên tục hoặc các nguồn từ xa.
Các hoạt động như count, , fold(...) thường được thực thi trên cả trình điều khiển và công nhân. Việc nâng hạng nặng được thực hiện song song bởi công nhân và một số bước cuối cùng, như giảm đầu ra nhận được từ công nhân, được thực hiện tuần tự trên trình điều khiển.
Mọi thứ khác, như kích hoạt hành động hoặc chuyển đổi xảy ra trên trình điều khiển. Đặc biệt, nó có nghĩa là mọi hành động yêu cầu truy cập vào SparkContext. Trong PySpark nó có nghĩa là một giao tiếp với cổng Py4j.
Tất cả các bao đóng được chuyển làm đối số cho phương thức của JavaRDD/JavaPairRDD/tương tự và một số phương thức của các lớp này sẽ được thực thi bởi các nút tia lửa. Mọi thứ khác là mã trình điều khiển.
Tôi cảm ơn bạn! –