Condor, Sun Grid Engine, hay cái gì khác?

Question

Tôi đang cố gắng tìm hiểu xem chúng ta có nên thử Condor hoặc Sun Grid Engine tại nơi làm việc hay không.

Chúng tôi thường có nhiều máy trạm WinXp không được sử dụng. Hy vọng là chúng ta có thể sử dụng wake-on-LAN, chạy tất cả các công việc của chúng ta, và sau đó tự động tắt. Chúng tôi chủ yếu sẽ chạy mô phỏng Matlab, Java hoặc Python cho các cuộc thám hiểm monte-carlo hoặc tham số.

Với kiến ​​thức hạn chế của tôi về Condor, có vẻ như sử dụng vũ trụ vm có thể là cách thuận tiện để quản lý ảnh chụp nhanh mà không phải sửa đổi mã hiện có.

SGE hay cái gì khác tốt hơn so với condor cho loại công việc này?

Answer 1

Tôi bắt đầu với Condor. Nó có hỗ trợ tốt cho Windows và các phiên bản mới hơn có hỗ trợ tích hợp để gửi wake-on-lan theo một cách rất có thể cấu hình khi công việc có thể chạy trên một số máy nhất định. Nó cũng có thể tắt máy dựa trên chính sách do người dùng xác định.

Answer 2

Đối với phần cứng chuyên dụng, tôi muốn sử dụng công cụ Grid Engine.

Đối với các chu kỳ đồng hồ scavenging trên các máy có thể đang được sử dụng, tôi sẽ đi với Condor.

Đối với phần cứng mà bạn có quyền truy cập dành riêng cho các khoảng thời gian cố định, chẳng hạn như qua đêm và cuối tuần, tôi có thể vẫn đi với Condor nhưng có thể thuyết phục bản thân mình sử dụng Grid Engine.

Answer 3

Tôi vừa thử Condor và đó là một nỗi đau khi cố gắng thiết lập. Nếu bạn cần tất cả các chu kỳ đồng hồ, bạn hoàn toàn có thể sử dụng, đi với Condor.

Tôi sắp thử SGE, và tôi sẽ cho bạn biết cách thực hiện. Tuy nhiên tại công ty của tôi, mọi người đã có kinh nghiệm thiết lập SGE, vì vậy tôi có thể nói SGE dễ dàng hơn.

Answer 4

Tôi đã phải chọn giữa condor và SGE cho một dự án khách hàng gần đây. Tôi đã ủng hộ SGE (vì tôi quen thuộc hơn với môi trường đó), nhưng Condor đã thắng cuối cùng vì:

• cơ sở hạ tầng khách hàng là Windows và giải pháp SGE yêu cầu máy Unix hoặc Linux cho Trình quản lý trung tâm, + cài đặt MS Services cho Unix trên các máy tính tính toán
• quá trình hỗ trợ và cài đặt của Condor trên Windows đơn giản hơn rất nhiều.

Tuy nhiên, bạn không thể sử dụng các tính năng thú vị nhất của Condor trên Windows: không có điểm kiểm tra, cũng như các IO cụ thể của Condor. Tôi không sử dụng vũ trụ VM, vì vậy tôi không thể bình luận về khía cạnh đó.

Answer 5

SGE không thực sự cửa sổ hỗ trợ. Nó đi kèm với all kinds of caveats and missing bits on Windows.

Tôi đã chạy các bể Condor trong nhiều năm nay và đây là một thiết lập HTPC tuyệt vời cho cả phần cứng chu trình và phần cứng chuyên dụng, trên các máy Linux và Windows. Việc bổ sung gần đây của Rooster daemon cho phép bạn đặt máy ngủ giữa các chu kỳ công việc và đánh thức chúng khi công việc mới xuất hiện trong hồ bơi. Họ cũng có một cộng đồng hỗ trợ tích cực và rất hữu ích. Checkpointing là tính năng Condor duy nhất không có trên Windows. Mọi thứ khác đều ở đó. Với việc bổ sung VM Universe, checkpointing ngày càng ít hữu ích hơn. Thực sự: để sử dụng điểm kiểm tra thành công, bạn cần có khả năng liên kết lại toàn bộ ngăn xếp mã của bạn.Vì vậy, nếu bạn đang chạy các công việc Matlab, ngay cả trên Linux, việc kiểm tra điểm sẽ không thể thực hiện được.

Nếu bạn có câu hỏi cụ thể về việc Condor chạy trên Windows, tôi rất sẵn lòng trả lời chúng, chia sẻ kinh nghiệm của tôi với nó. Tôi chạy Condor trên 4 hồ bơi trên toàn cầu với tổng số khoảng 1500 máy chuyên dụng trong tất cả các hồ bơi và khoảng 1000 máy tính để bàn bổ sung có sẵn khi người dùng quan tâm quyên tặng chúng.

Answer 6

SGE không tồn tại ... nó là OGE và rất đắt. Đi với Condor.

Answer 7

Sau khi Oracle tiếp quản SGE (Sun Grid Engine), có dự án Open Grid Scheduler vẫn cung cấp công cụ lưới nguồn mở.

http://gridscheduler.sourceforge.net/