Sử dụng tuyết (và tuyết rơi) với AWS để xử lý song song trong R

Question

Liên quan đến similar SO question trước đó của tôi, tôi đã thử sử dụng tuyết/tuyết rơi trên AWS để tính toán song song.

Những gì tôi đã làm là:

• Trong sfInit() chức năng, tôi cung cấp DNS công cộng để socketHosts tham số như vậy sfInit(parallel=TRUE,socketHosts =list("ec2-00-00-00-000.compute-1.amazonaws.com"))
• Lỗi được thông báo là Permission denied (publickey)
• sau đó tôi theo các hướng dẫn (tôi giả sử một cách chính xác!) trên http://www.imbi.uni-freiburg.de/parallel/ trong phần 'Mật khẩu không có bảo mật Shell (SSH) đăng nhập'
• Tôi chỉ cần mèo nội dung của tệp .pem mà tôi phân tích ted trên AWS vào ~/.ssh/authorized_keys của cá thể AWS mà tôi muốn kết nối từ cá thể chủ AWS của tôi và cho cá thể AWS chính cũng như

Có điều gì tôi bỏ sót không? Tôi sẽ rất biết ơn nếu người dùng có thể chia sẻ kinh nghiệm của họ trong việc sử dụng tuyết trên AWS.

Cảm ơn bạn rất nhiều vì các đề xuất của bạn.

UPDATE: Tôi chỉ muốn cập nhật các giải pháp tôi thấy vấn đề cụ thể của tôi:

• tôi đã sử dụng StarCluster để thiết lập cụm AWS của tôi: StarCluster
• cài đặt gói snowfall trên tất cả các nút của cluster
• Từ nút chính đã ban hành các lệnh sau
• hostslist <- list("ec2-xxx-xx-xxx-xxx.compute-1.amazonaws.com","ec2-xx-xx-xxx-xxx.compute-1.amazonaws.com")
• sfInit(parallel=TRUE, cpus=2, type="SOCK",socketHosts=hostslist)
• l <- sfLapply(1:2,function(x)system("ifconfig",intern=T))
• lapply(l,function(x)x[2])
• sfStop()
• Thông tin ip khẳng định rằng các nút AWS đã được sử dụng

Answer 1

Tôi tin @Anatoliy là chính xác: bạn đang sử dụng chứng chỉ X.509. Để biết các bước chính xác cần thực hiện để thêm khóa SSH, hãy xem phần "Loại thông tin xác thực" của EC2 Starters Guide.

Để tải lên khóa SSH của riêng bạn, hãy xem this page from Alestic.

Lúc đầu hơi khó hiểu, nhưng bạn sẽ muốn xóa khóa truy cập, chứng chỉ và cặp khóa có thể xuất hiện trong tệp văn bản với DSA hoặc RSA.

Answer 2

Trông không phải là xấu, nhưng các tập tin pem là sai. Nhưng đôi khi không đơn giản và nhiều người phải chiến đấu với vấn đề này. Rất nhiều lời khuyên bạn có thể tìm thấy trong bài viết này:

• https://forums.aws.amazon.com/message.jspa?messageID=241341
• Hoặc kiểm tra google những bài viết khác.

Từ kinh nghiệm của tôi hầu hết mọi người có vấn đề trong các bước sau:

• Bạn có thể đăng nhập vào máy qua ssh? (ssh ec2-00-00-00-000.compute-1.amazonaws.com). Hãy thử sử dụng DNS công cộng, không phải IP công cộng để kết nối.
• Bạn nên kiểm tra "Nhóm bảo mật" trong AWS nếu cổng 22 mở cho tất cả các máy!

Nếu bạn có kế hoạch để bắt đầu hơn 10 máy nhân bạn nên làm việc trên một cài đặt MPI trên máy của bạn (hiệu suất tốt hơn nhiều!)

Markus từ cloudnumbers.com :-)