Cách dễ nhất để quay lên cụm Amazon EC2 để sử dụng như một phụ trợ foreach

Question

Tôi muốn bắt đầu một cụm máy amazon EC2 để sử dụng phụ trợ cho gói foreach trong R. Lý tưởng nhất, tôi có thể làm điều này tất cả từ dòng lệnh trong R trên máy cục bộ của tôi, gửi dữ liệu và lệnh liên quan từ phiên R cục bộ đến cụm từ xa.

Tôi biết gói AWS sẽ trợ giúp với tác vụ này, nhưng tôi thực sự không biết phải làm gì sau khi chạy lệnh . Segue cũng cho tôi một phần của con đường đó, nhưng nó không phải là một phụ trợ cho foreach, nó dường như không hỗ trợ AMI tùy chỉnh, và nó hiện không hỗ trợ các cửa sổ. Ngoài ra còn có gói deathstar mà tôi chưa khám phá sâu.

Có ai khác đưa ra giải pháp cho vấn đề này không?

Answer 1

Zach, câu trả lời đơn giản là có không phải là một con đường đơn giản để có từ đây :)

Khi tôi viết Segue Tôi hy vọng rằng ai đó sẽ sớm đi ra với một cái gì đó mà có thể làm Segue lỗi thời. Cloudnumbers có thể là một ngày, nhưng có lẽ chưa. Tôi đã đùa giỡn với việc tạo ra Segue một phụ trợ foreach, nhưng kể từ khi tôi không sử dụng nó theo cách đó, động lực của tôi đã được khá thấp để dành thời gian để tìm hiểu làm thế nào để xây dựng các phụ trợ.

Một trong những điều rất hứa hẹn, theo ý kiến ​​của tôi, là sử dụng gói doRedis() với công nhân trên Amazon EC2. doRedis sử dụng một máy chủ Redis làm bộ điều khiển công việc và sau đó cho phép các công nhân kết nối với máy chủ Redis và nhận/trả về các công việc và kết quả. Tôi đã suy nghĩ một lúc rằng nó sẽ là tốt đẹp để có một cách đơn giản chết để triển khai một cụm doRedis trên EC2. Nhưng không ai viết một cái mà tôi biết.

Answer 2

Dường như bioconductr có slick tool để quay vòng một cụm MPI. Khi bắt đầu, bạn có thể chạy mpi.spawn.Rslaves() và mpi.parLapply trên nút chính để tính toán trang trại cho cụm. Tuy nhiên, tôi không thể tìm ra cách làm cho nó hoạt động với doMPI.