Công cụ để thiết lập và chạy công việc lưới trên Google Compute Engine?

Question

Tôi có nhu cầu thiết lập và chạy các công việc song song "đáng xấu hổ" trên Google Compute Engine. Tôi đang tìm kiếm các công cụ để tạo điều kiện thuận lợi cho việc này.

Vào EC2, tôi đã sử dụng Starcluster của MIT để thiết lập cụm, và sau đó chỉ cần gửi lệnh cho SGE.

Có sẵn các công cụ tương tự cho Google Compute Engine không?

Nếu không, tôi có thể sẽ tự thiết lập cụm Condor để thực hiện công việc. Buzz giết.

Answer 1

Tôi không tìm thấy bất kỳ thứ gì ngoài đó. Con đường hiện tại của Starcluster để hỗ trợ GCE là chờ đợi sự hỗ trợ boto chính thức cho GCE. Tất cả có thể mất một lúc, vì vậy tôi đã đi trước và viết một số mã python để khởi động và chấm dứt một cụm cơ bản.

Tôi đã chia sẻ nó here on github.

Tôi hy vọng người khác thấy hữu ích, ít nhất là mã mẫu.

Answer 2

Starcluster thực sự tuyệt vời. Thật không may, không có hỗ trợ cho GCE và tôi quen thuộc với bất kỳ hệ thống tương tự tại thời điểm này.

Tôi rất muốn thấy điều đó xảy ra mặc dù vậy nếu bạn làm việc gì đó, hãy chia sẻ!

Answer 3

Bộ tạo độ đàn hồi có hỗ trợ Google Compute Engine. Nó rất giống với Starcluster và hoạt động trên AWS sử dụng boto, GCE, Openstack. https://github.com/gc3-uzh-ch/elasticluster