Apache Spark vs Apache Spark 2

Question

Những cải tiến mà Apache Spark2 mang lại so với Apache Spark là gì?

1. Từ kiến ​​trúc quan điểm
2. Từ điểm áp dụng xem
3. hoặc nhiều

Answer 1

Apache Spark 2.0.0 API đã ở phần lớn tương tự như 1.x, Spark 2.0 .0 không có phá vỡ API thay đổi

Apache Spark 2.0.0 là phiên bản đầu tiên trên dòng 2.x. Các bản cập nhật chính là khả năng sử dụng API , hỗ trợ SQL 2003, cải tiến hiệu suất, phát trực tuyến có cấu trúc, hỗ trợ R UDF cũng như các cải tiến hoạt động.

mới trong tia lửa 2:

• Sự thay đổi lớn nhất mà tôi có thể thấy là DataSet và DataFrame API sẽ được sáp nhập.
• Mới nhất và tuyệt vời nhất từ ​​Spark sẽ hiệu quả hơn rất nhiều so với người tiền nhiệm. Spark 2.0 sẽ tập trung vào sự kết hợp của Parquet và bộ nhớ đệm để đạt được thông lượng tốt hơn.
• Phát trực tuyến có cấu trúc là một điều quan trọng khác!
• Đây sẽ là phiên bản đầu tiên sẽ tập trung vào ETL.các phiên bản kế tiếp sẽ bổ sung thêm các nhà khai thác và các thư viện cho ETL

Bạn có thể đi qua các Spark release 2.0.0 nơi cập nhật tại các điểm sau đây được giải thích:

• API ổn định
• Core và Spark SQL
• MLlib
• SparkR
• Truyền trực tuyến
• phụ thuộc, bao bì, và hoạt động
• gỡ bỏ, thay đổi hành vi và Deprecations
• Vấn đề được Biết

Answer 2

Không có nhiều sự khác biệt liên quan đến kiến ​​trúc như Tóm lại vẫn là DAG và RDD, đó là hầu hết các phần quan trọng của nó!

Mặc dù Spark 2.0 được tối ưu hóa nhiều hơn và có Api dữ liệu mang lại nhiều sức mạnh hơn cho bàn tay của nhà phát triển. Vì vậy, tôi có thể nói kiến ​​trúc cũng giống như nó chỉ là Spark 2.0 cung cấp nhiều tối ưu hóa và có một bộ phong phú của Api!

Đây là những điều chính mà được cung cấp bởi Apache Spark 2.0:

• Sự thay đổi lớn nhất mà tôi có thể thấy là DataSet và DataFrame API sẽ được sáp nhập.
• Mới nhất và tuyệt vời nhất từ ​​Spark sẽ là tổng số hiệu quả cao hơn so với người tiền nhiệm trước đây . Spark 2.0 sẽ là tập trung vào sự kết hợp của Ván sàn và bộ nhớ đệm để đạt được thông lượng tốt hơn cả .
• Phát trực tuyến có cấu trúc là một điều quan trọng khác!
• Đây sẽ là phiên bản đầu tiên sẽ tập trung vào ETL. các phiên bản kế tiếp sẽ bổ sung thêm các nhà khai thác và các thư viện cho ETL

Để biết thêm thông tin xin vui lòng mất một lok đây: https://www.quora.com/What-are-special-features-and-advantages-of-Apache-Spark-2-0-over-earlier-versions