Tóm lại, bạn muốn tối đa số lượng lõi bộ xử lý và đĩa. Bạn có thể hy sinh độ tin cậy và chất lượng, nhưng không có phần cứng rẻ nhất ngoài kia, vì bạn sẽ có quá nhiều vấn đề về độ tin cậy.
Chúng tôi đã đi với máy chủ Dell 4 lõi dell 2xCPU, vì vậy 8 lõi mỗi hộp. Bộ nhớ 16GB mỗi hộp, là 2GB mỗi lõi, một chút thấp khi bạn cần bộ nhớ cho cả nhiệm vụ của bạn và cho bộ đệm đĩa. Ổ cứng 5x500GB và tôi muốn chúng tôi sử dụng ổ đĩa terabyte hoặc cao hơn thay thế.
Đối với các ổ đĩa, ý kiến của tôi là mua các ổ đĩa rẻ hơn, chậm, không đáng tin cậy, có dung lượng cao như trái ngược với các ổ đĩa đắt tiền, nhanh hơn, nhỏ hơn, đáng tin cậy hơn. Nếu bạn đang gặp vấn đề với thông lượng đĩa, nhiều bộ nhớ hơn sẽ giúp đệm.
Đây có lẽ là cấu hình mạnh hơn bạn đang xem, nhưng tối đa lõi và ổ đĩa so với mua thêm hộp thường là lựa chọn tốt - chi phí năng lượng ít hơn, quản trị dễ dàng hơn và nhanh hơn đối với một số thao tác.
Các ổ đĩa khác có nghĩa là thông lượng đĩa đồng thời hơn trên mỗi lõi, do đó, có nhiều ổ đĩa như lõi là một điều tốt. Benchmarking dường như chỉ ra rằng cấu hình RAID chậm hơn so với cấu hình JBOD (chỉ gắn các ổ đĩa và có tải Hadoop trên chúng) và JBOD cũng đáng tin cậy hơn.
LAST! Hãy chắc chắn để có được bộ nhớ ECC. Hadoop đẩy terabyte dữ liệu thông qua bộ nhớ và một số người dùng đã nhận thấy rằng cấu hình bộ nhớ không phải ECC đôi khi có thể giới thiệu các lỗi bit đơn lẻ trong bộ dữ liệu có kích thước terabyte. Gỡ lỗi các lỗi này là một cơn ác mộng.
Nguồn
2009-06-24 18:05:27
Hãy thử http://www.serverfault.com – TheTXI
Đây không phải là một vấn đề quản trị hệ thống. Các tài nguyên có sẵn cho Hadoop vốn có trong thiết kế của cụm Hadoop. – skaffman