Tại sao một người nào đó chạy Spark/Flink trên Tez? .

Question

Trong Tez paper từ Saha et al, kiến ​​trúc mô-đun sau của Hadoop 2 với Tez được hiển thị:

Tại sao ai đó sẽ chạy Spark/Flink trên Tez?

Ưu điểm là gì? Sử dụng tốt hơn YARN?

Answer 1

Nếu tôi hiểu chính xác, chạy tia lửa trên tez về mặt lý thuyết có thể dẫn đến DAG tốt hơn. Ví dụ: có thể áp dụng cho các lần lặp máy học.

Đoạn thích hợp được trình bày bên dưới.

Chúng tôi đã có thể mã hóa các hậu biên soạn Spark DAG vào một Tez DAG và chạy nó thành công trong một cụm sợi đó là không chạy các dịch vụ cơ Spark. Mã Spark do người dùng định nghĩa là được tuần tự hóa thành một tải trọng của bộ vi xử lý Tez và được tiêm vào bộ xử lý chung chung là Spark và thực thi mã người dùng. cho phép các chương trình Spark chưa sửa đổi chạy trên YARN bằng cách sử dụng các toán tử thời gian chạy Spark của riêng ... Các phiên Tez cũng cho phép lặp lại các phép học máy Spark để chạy hiệu quả bằng cách gửi các DAG lặp lại đến phiên chia sẻ . Công trình này là một nguyên mẫu thử nghiệm và không nằm trong dự án Spark

đó đang được nói, nó xuất hiện rằng sự kết hợp này chưa bao giờ được thực hiện bên ngoài một khung cảnh thực nghiệm, vì vậy ngay cả khi có những lý do đàng hoàng để kết hợp Tez với các công cụ như Spark, sẽ không giúp gì cho dự án vào thời điểm này.

Ngoài ra, kỳ vọng cá nhân của tôi là trừ khi bạn có khối lượng công việc rất cụ thể, tôi sẽ ngạc nhiên nếu TZ DAG vượt trội đáng kể so với Spark DAG bình thường.