chạy phần mềm Hadoop trên máy tính văn phòng (khi chúng rảnh)

Question

Có dự án nào giúp thiết lập cụm Hadoop trên máy tính để bàn văn phòng khi chúng không hoạt động?

Tôi muốn thử nghiệm với Hadoop/MR/hbase nhưng không có acces đến 5-10 máy tính. Các máy tính tại nơi làm việc không hoạt động sau giờ làm việc và được kết nối với nhau thông qua kết nối tốc độ rất cao. Hơn nữa, dữ liệu trên các máy tính này nằm trong mạng của chúng tôi nên không có vấn đề về quyền riêng tư.

Để làm việc này, tôi cần một màn hình cân khá nhẹ chạy trên mỗi máy. Khi máy tính không hoạt động trong X giờ, máy tính sẽ tham gia vào cụm. Nếu người dùng đăng nhập, nó phải thả ra khỏi cụm và trả lại tất cả CPU/bộ nhớ.

Có điều gì như thế này không?

Answer 1

Bạn có thể sử dụng công cụ lập lịch nhiệm vụ để phát hiện trạng thái không hoạt động và sau đó bắt đầu/dừng một voop hadoop với hộp ảo hoặc vmplayer. Hoặc bạn có thể viết một kịch bản PowerShell bắt đầu dừng dựa trên việc sử dụng tài nguyên.

Answer 2

Hadoop không phải là lưới tính toán nó là một mạng lưới dữ liệu hơn (xem trang 9 trong this presentation). Vấn đề là với hadoop rằng dữ liệu được lan truyền trên cụm và do đó dữ liệu phải được lưu trữ trên các máy tính. Thời gian cần để sao chép dữ liệu trên/xóa dữ liệu khi chúng không hoạt động có thể không đáng giá - bạn nên sử dụng hadoop trong đám mây (amazon, Azure, v.v.)

Answer 3

Nhìn vào các giải pháp như NEREUS mà là một giải pháp MPC tốt trong Java

Answer 4

tôi sẽ sử dụng một cái gì đó giống như Condor: http://research.cs.wisc.edu/condor/

Answer 5

Bạn có thể muốn xem xét dự án Mặt trăng Virginia Tech http://www.wired.com/wiredenterprise/2012/05/project_moon/