Tôi muốn chạy một cụm hadoop nhiều nút, với mỗi nút bên trong một vùng chứa docker trên một máy chủ khác. Hình ảnh này - https://github.com/sequenceiq/hadoop-docker hoạt động tốt để bắt đầu hadoop ở chế độ phân tán giả, cách dễ nhất để sửa đổi điều này là gì để có mỗi nút trong một vùng chứa khác trên máy chủ ec2 riêng biệt?Chạy một cụm hadoop trên các thùng chứa docker
Tôi đã làm điều này với hai container chạy master và slave nút trên hai host ubuntu khác nhau. Tôi đã kết nối giữa các thùng chứa bằng cách sử dụng dệt. Tôi đã thêm hình ảnh của các vùng chứa trên tài khoản trung tâm dock4 div4. Tôi đã cài đặt Hadoop theo cách tương tự, như được cài đặt trên các máy chủ khác nhau. Tôi đã thêm hai hình ảnh với coomands để chạy haddop trên chúng tại đây:
https://registry.hub.docker.com/u/div4/hadoop_master/ https://registry.hub.docker.com/u/div4/hadoop_slave/.
Người dân từ sequenceiq đã tạo ra một dự án mới được gọi là đám mây-break được thiết kế để làm việc với các nhà cung cấp điện toán đám mây khác nhau và tạo ra các cụm hadoop trên chúng một cách dễ dàng. Bạn chỉ cần nhập thông tin đăng nhập của bạn và sau đó nó hoạt động tương tự cho tất cả các nhà cung cấp, như xa như tôi có thể nhìn thấy.
Vì vậy, cho EC2, điều này sẽ bây giờ có lẽ là giải pháp đơn giản nhất (đặc biệt là vì một giao diện đẹp):
bạn đã tìm thấy các giải pháp, nếu có thì xin vui lòng hướng dẫn cho tôi –