Chúng ta vẫn phải chế tạo một lọ chất béo để gửi công việc trong Spark 2.0.0?

Question

Trong Spark 2.0.0 của phiên bản note, nó nói rằng:

Spark 2.0 không còn đòi hỏi một jar lắp ráp mỡ cho việc triển khai sản xuất.

• Điều này có nghĩa rằng chúng ta không cần phải thực hiện một lọ mỡ nữa cho trình công việc?

• Nếu có, làm cách nào? Do đó tài liệu here không được cập nhật.

Answer 1

Điều này có nghĩa rằng chúng ta không cần phải thực hiện một lọ mỡ nữa cho việc nộp?

Đáng buồn thay, không. Bạn vẫn phải tạo một JAR uber để triển khai Sparks.

Tiêu đề từ ghi chú phát hành là rất gây hiểu nhầm. Ý nghĩa thực sự là bản thân Spark là một sự phụ thuộc không còn được biên dịch thành một JAR uber, nhưng hoạt động như một JAR ứng dụng bình thường với các phụ thuộc. Bạn có thể thấy điều này chi tiết hơn @SPARK-11157 được gọi là "Cho phép Spark được xây dựng mà không cần hội đồng" và đọc bài báo có tên là "Replacing the Spark Assembly with good old jars" mô tả ưu và nhược điểm của việc triển khai Spark chứ không phải một số JAR lớn (Core, Streaming, SQL, v.v. ..) nhưng là một số JAR có kích thước tương đối thường xuyên chứa mã và thư mục lib/ với tất cả các phụ thuộc liên quan.

Nếu bạn thực sự muốn các chi tiết, this pull request chạm vào một số bộ phận quan trọng.