Thuê một cụm

Question

Tôi tự hỏi nếu có các cụm có sẵn để cho thuê.

Kịch bản:

Chúng tôi có một chương trình mà sẽ mất những gì chúng tôi ước tính một tuần để chạy (sau khi tối ưu hóa) trên một tập tin nhất định. Rất có thể, lâu hơn. Thật không may, chúng tôi cũng cần phải thực hiện khoảng 300 tệp khác nhau, dẫn đến khoảng thời gian tính toán khoảng 300 tuần (có thể làm tròn đến 6 năm làm việc liên tục của tường bao giờ). Đối với một công việc nghiên cứu cần được thực hiện - chậm nhất là vào tháng 12, điều đó đơn giản là không thể chấp nhận được. Trong khi chúng tôi đang khám phá các tùy chọn khác, tôi đang điều tra tùy chọn đơn giản là thuê một cụm Beowulf. Công việc là học tập và sẽ dẫn đến việc hoàn thành một tiến sĩ.

Điều gì lý tưởng sẽ là một công ty chúng tôi gửi nguồn và tệp công việc cho công ty và sau đó nhận được một hoặc hai tuần sau tệp kết quả. Thì đấy!

Googling nhanh không bật lên bất kỳ điều gì hứa hẹn khủng khiếp.

Giải pháp được đề xuất?

Answer 1

Điện toán đám mây giống như những gì bạn cần. Amazon, Microsoft và Google thuê tài nguyên máy tính để trả tiền cho những gì bạn sử dụng cơ sở.

Dịch vụ của Amazon là người trưởng thành nhất và có một số câu hỏi về dịch vụ của Amazon, EG here và here.

Answer 2

dẫn này có thể chứng minh hữu ích:

http://lcic.org/vendors.html

Và đây là một trang web tài nguyên tuyệt vời về vấn đề này:

http://www.hpcwire.com

Answer 3

Amazon EC2 (Elastic Compute Cloud) có vẻ như chính xác những gì bạn 'Đang tìm kiếm. Bạn có thể đăng ký một hoặc nhiều máy ảo (tối đa 20 máy, nhiều hơn nếu bạn request permission), bắt đầu từ 0,10 đô la một giờ cho mỗi máy ảo, cộng với chi phí băng thông (miễn phí giữa các máy EC 2 và other web services của Amazon). Bạn có thể chọn giữa một số hệ điều hành (các bản phân phối Linux khác nhau, OpenSolaris, Windows nếu bạn trả thêm tiền) và bạn có thể sử dụng các hình ảnh máy có sẵn hoặc tạo hình ảnh của riêng bạn. Nếu bạn đang sử dụng tất cả các phần mềm nguồn mở và không có nhiều chi phí băng thông, có vẻ như bạn sẽ mất khoảng 5000 đô la để thực hiện công việc của mình (giả sử rằng thời gian tính toán của bạn là 6 năm. với một CPU ảo duy nhất).

Khi bạn đăng ký dịch vụ và thiết lập their tools, thật dễ dàng để khởi chạy các máy ảo mới. Tôi thậm chí đã chi $ 0,10 để khởi động một máy trong vài phút chỉ để xác minh một câu trả lời tôi đã đưa cho ai đó ở đây trên StackOverflow; Tôi muốn kiểm tra một cái gì đó trên Solaris, vì vậy tôi chỉ khởi động một thể hiện và có một máy ảo Solaris theo ý của tôi trong vòng 5 phút.

Answer 4

Tôi không biết bạn đang làm bằng tiến sĩ của bạn ... Hầu hết các trường đại học châu Á, châu Âu và Bắc Mỹ đều có một số cụm. Bạn có thể

• gặp trực tiếp những người trong phòng thí nghiệm phụ trách cụm.
• yêu cầu giám đốc tiến sĩ của bạn sắp xếp điều đó. Có lẽ anh ta/cô ấy có một số người bạn có thể xử lý điều đó.

Ngoài ra, mẹo cổ điển là sử dụng thời gian không sử dụng của máy tính trong phòng thí nghiệm/trường đại học của bạn ... Về cơ bản, mỗi máy tính chạy một ứng dụng khách mà crunch số khi máy tính không được sử dụng. Xem http://boinc.berkeley.edu/

Answer 5

Một tùy chọn là thuê tài nguyên ảo tương đương với số lượng máy tính bạn cần và thiết lập chúng thành cụm, sử dụng Amazon Elastic Compute Cloud.

Thiết lập cụm beowulf trong số đó là hoàn toàn có thể.

Kiểm tra điều này link cung cấp tài nguyên và phần mềm để làm chính xác điều đó.

Answer 6

Chủ đề đã được bổ sung bằng con trỏ tới EC2 của Amazon - và chính xác như vậy. Họ là người trưởng thành nhất trong lĩnh vực này. Gần đây, họ đã phát hành nền tảng bản đồ đàn hồi-giảm âm thanh tương tự (mặc dù không chính xác) giống như những gì bạn đang cố gắng làm. Google không phải là một tùy chọn cho bạn vì mô hình tính toán của họ không hỗ trợ mô hình tính toán chung mà bạn cần.

Answer 7

• Để sử dụng học tập/khoa học, có một số trung tâm công khai cung cấp khả năng HPC. Ở châu Âu, có DEISA. http://www.deisa.eu/ và thành viên DEISA. Phải có những khả năng tương tự ở Mỹ, có lẽ là thông qua NSF.

• Để sử dụng thương mại, hãy kiểm tra các dịch vụ IBM Computing On Demand. http://www-03.ibm.com/systems/deepcomputing/cod/

Answer 8

Có một số cách để có được thời gian trên các cụm.

1. Thời gian mua trên đám mây đàn hồi của Amazon. Tùy thuộc vào mức độ quen thuộc của bạn với dịch vụ của họ, có thể mất thời gian để cấu hình theo cách bạn muốn.
2. Tiếp cận một trường đại học và xem họ có chương trình thương mại để thuê thời gian cho công ty hay không. Tôi biết nhiều người làm. Một điều mà tôi biết cụ thể là chương trình khu vực tư nhân tại NCSA tại UIUC. Tùy thuộc vào tổ chức, họ cũng cung cấp dịch vụ porting và tối ưu hóa cho mã của bạn.

Answer 9

Hoặc bạn có thể thuê thời gian CPU từ nhà cung cấp riêng.
Tôi đến từ Slovenia và, ví dụ, ở đây chúng tôi có một nhà cung cấp tư nhân tuyệt vời được gọi là Arctur. Các chàng trai rất hữu ích và đáp ứng khi tôi liên lạc với họ.

Bạn có thể tìm thấy chúng ở đây: hpc.arctur.net

Answer 10

Go to: http://www.extremefactory.com/index.php Đúng cụm HPC, lên đến 200 TFlops.