Các cụm hadoop có chạy trên phần cứng giống hệt nhau không?

Question

Tôi nhớ đọc ở đâu đó rằng hiệu suất của Hadoop bị giảm đáng kể nếu các máy chạy trên nó rất khác nhau, nhưng tôi dường như không thể tìm thấy nhận xét đó nữa. Tôi đang xem xét việc chạy một cụm Hadoop trên một loạt các máy ảo không được nhóm của tôi quản lý trực tiếp và tôi cần phải biết đây có phải là yêu cầu mà tôi nên đưa vào yêu cầu của mình hay không.

Vì vậy, tôi có nên nhấn mạnh vào tất cả các máy của mình có phần cứng giống hệt nhau không, hoặc có thể chạy trên các máy khác nhau trong các cấu hình phần cứng khác nhau không?

Cảm ơn.

Answer 1

giấy tờ sau mô tả cách cụm không đồng nhất ảnh hưởng đến hiệu suất của hadoop bản đồ giảm:

Trong một cluster không đồng nhất, năng lực tính toán của các nút có thể thay đổi signi fi cantly. Nút tốc độ cao có thể xử lý dữ liệu được lưu trữ trong một đĩa cục bộ của của nút nhanh hơn so với các đối tác tốc độ thấp. Sau khi nút nhanh hoàn tất việc xử lý dữ liệu đầu vào cục bộ của nó, nút phải hỗ trợ chia sẻ tải bằng cách xử lý dữ liệu chưa được xử lý nằm trong một hoặc các nút chậm từ xa khác. Khi số lượng dữ liệu được chuyển do chia sẻ tải rất lớn, chi phí di chuyển dữ liệu chưa xử lý từ các nút chậm đến nút nhanh sẽ trở thành vấn đề quan trọng ảnh hưởng đến hiệu suất của của Hadoop.

tài liệu tham khảo sau có thêm chi tiết:

1. http://computerresearch.org/stpr/index.php/gjcst/article/view/749/658
2. http://www.usenix.org/event/osdi08/tech/full_papers/zaharia/zaharia.pdf

Nó cũng cung cấp cách thức mà bạn có thể cải thiện hiệu suất trên cụm đồng nhất hoặc tránh hình phạt hiệu quả này. Đó là một cách khôn ngoan gợi ý rằng bạn có máy đồng nhất trên cụm của bạn nhưng nếu những máy này không có thông số kỹ thuật khác nhau và hiệu suất cực kỳ khác nhau, bạn nên tiếp tục xây dựng cụm của bạn.

Đối với hệ thống sản xuất, bạn nên đề xuất cho các máy đồng nhất. Để phát triển, hiệu suất không quan trọng.

Bao giờ, bạn sẽ có thể điểm chuẩn cụm Hadoop của mình sau khi bạn đã tạo nó.

Answer 2

Một cụm đồng nhất chắc chắn là lý tưởng, nhưng không cần thiết. Ví dụ, Yahoo !, chạy các cụm không đồng nhất trong môi trường sản xuất của chúng. Từ nói chuyện với các nhà nghiên cứu ở đó, họ thấy rằng có một hit hiệu suất do các vấn đề lập kế hoạch (một hit đủ lớn mà họ đang làm việc chăm chỉ để thêm lịch trình nhận thức hiệu suất cho các công cụ của họ), nhưng hình phạt không làm tê liệt.