Trình quản lý độc lập Vs. Sợi Vs. Mesos

Question

Trên cụm 3 nút Spark/Hadoop mà trình lên lịch (Trình quản lý) sẽ hoạt động hiệu quả? Hiện tại tôi đang sử dụng Trình quản lý độc lập, nhưng đối với mỗi công việc tạo tia lửa, tôi phải chỉ định rõ ràng tất cả các tham số tài nguyên (ví dụ: lõi, bộ nhớ, v.v.) mà tôi muốn tránh. Tôi cũng đã thử Sợi, nhưng nó chạy chậm hơn 10X so với trình quản lý độc lập.

Mesos có thể hữu ích không?

chi tiết Cụm: Spark 1.2.1 và Hadoop 2.7.1

Answer 1

Apache Spark chạy trong bốn chế độ

• Local
• độc
0.123.
• Sợi
• Mesos

Tất cả các môi trường ba độc lập, Sợi và Mesos chế độ được phân phối. Trong môi trường phân tán, quản lý tài nguyên là rất cần thiết để quản lý tài nguyên máy tính. Vì vậy, để quản lý tài nguyên máy tính một cách hiệu quả, chúng tôi cần hệ thống quản lý tài nguyên tốt hoặc Lịch tài nguyên.

Độc lập là tốt cho cụm tia lửa nhỏ, nhưng nó không tốt cho cụm lớn hơn (Có một chi phí chạy các tia lửa daemon (master + slave) trong các nút cụm). Những daemon này yêu cầu tài nguyên chuyên dụng. Vì vậy, độc lập không được khuyến khích cho các cụm sản xuất lớn hơn.

Trong trường hợp chế độ YARN và Mesos, Spark chạy dưới dạng ứng dụng và không có chi phí tiện ích con nào. Vì vậy, chúng tôi có thể sử dụng hoặc YARN hoặc Mesos cho hiệu suất tốt hơn và khả năng mở rộng.

Giữa YARN và Mesos, tốt hơn nên sử dụng YARN nếu bạn đã chạy cụm Hadoop (Apache/CDH/HDP). Trong trường hợp của một dự án hoàn toàn mới, tốt hơn để sử dụng Mesos (Apache, Mesosphere). Ngoài ra còn có một điều khoản để sử dụng cả hai trong số họ theo cách colocated bằng cách sử dụng dự án được gọi là Apache Myriad.

Trong cả ba chế độ, Apache Mesos có tài nguyên tốt hơn khả năng quản lý.

Vui lòng xem liên kết này, nó chứa giải thích chi tiết từ chuyên môn về Sợi so với Mesos. http://www.quora.com/How-does-YARN-compare-to-Mesos

Answer 2

Trên một cụm 3 nút Tôi chỉ muốn đi với người quản lý độc lập các chi phí của các quá trình bổ sung sẽ không trả hết