gọi spark-ec2 từ trong trường hợp EC2: kết nối ssh đến máy chủ bị từ chối

Question

Để chạy các bài tập đào tạo của Amplab, tôi đã tạo một cặp khóa trên us-east-1, đã cài đặt tập lệnh đào tạo (git clone git://github.com/amplab/training-scripts.git -b ampcamp4) và tạo env. biến AWS_ACCESS_KEY_ID và AWS_SECRET_ACCESS_KEY theo các hướng dẫn trong http://ampcamp.berkeley.edu/big-data-mini-course/launching-a-bdas-cluster-on-ec2.html

Bây giờ chạy

./spark-ec2 -i ~/.ssh/myspark.pem -r us-east-1 -k myspark --copy launch try1 

tạo thông báo sau:

johndoe@ip-some-instance:~/projects/spark/training-scripts$ ./spark-ec2 -i ~/.ssh/myspark.pem -r us-east-1 -k myspark --copy launch try1 
Setting up security groups... 
Searching for existing cluster try1... 
Latest Spark AMI: ami-19474270 
Launching instances... 
Launched 5 slaves in us-east-1b, regid = r-0c5e5ee3 
Launched master in us-east-1b, regid = r-316060de 
Waiting for instances to start up... 
Waiting 120 more seconds... 
Copying SSH key /home/johndoe/.ssh/myspark.pem to master... 
ssh: connect to host ec2-54-90-57-174.compute-1.amazonaws.com port 22: Connection refused 
Error connecting to host Command 'ssh -t -o StrictHostKeyChecking=no -i /home/johndoe/.ssh/myspark.pem root@ec2-54-90-57-174.compute-1.amazonaws.com 'mkdir -p ~/.ssh'' returned non-zero exit status 255, sleeping 30 
ssh: connect to host ec2-54-90-57-174.compute-1.amazonaws.com port 22: Connection refused 
Error connecting to host Command 'ssh -t -o StrictHostKeyChecking=no -i /home/johndoe/.ssh/myspark.pem root@ec2-54-90-57-174.compute-1.amazonaws.com 'mkdir -p ~/.ssh'' returned non-zero exit status 255, sleeping 30 
... 
... 
subprocess.CalledProcessError: Command 'ssh -t -o StrictHostKeyChecking=no -i /home/johndoe/.ssh/myspark.pem root@ec2-54-90-57-174.compute-1.amazonaws.com '/root/spark/bin/stop-all.sh'' returned non-zero exit status 127 

nơi root@ec2-54-90-57-174.compute-1.amazonaws.com là bậc thầy dụ người dùng &. Tôi đã thử -u ec2-user và tăng -w tất cả các con đường lên đến 600, nhưng nhận được cùng một lỗi.

tôi có thể thấy các trường hợp chủ và nô lệ trong us-east-1 khi tôi đăng nhập vào giao diện điều khiển AWS, và tôi thực sự có thể ssh vào dụ Thạc sĩ từ 'địa phương' ip-some-instance vỏ.

Sự hiểu biết của tôi là tập lệnh spark-ec2 đảm nhiệm việc xác định nhóm bảo mật chính/cổng phụ (cổng được nghe và vv) và tôi không cần phải tinh chỉnh các cài đặt này. Điều này nói rằng, chủ và nô lệ tất cả lắng nghe bài 22 (Port:22, Protocol:tcp, Source:0.0.0.0/0 trong nhóm ampcamp3-nô lệ/thạc sĩ sec.).

Tôi đang thua lỗ ở đây và sẽ đánh giá cao bất kỳ con trỏ nào trước khi tôi dành tất cả số tiền R & D cho các trường hợp EC2 .... Cảm ơn.

Answer 1

Điều này rất có thể do SSH mất nhiều thời gian để khởi động trên các phiên bản, khiến thời gian chờ 120 giây hết hạn trước khi máy có thể đăng nhập. Bạn sẽ có thể chạy

./spark-ec2 -i ~/.ssh/myspark.pem -r us-east-1 -k myspark --copy launch --resume try1 

(với --resume cờ) để tiếp tục từ nơi mà mọi thứ rời đi mà không cần tung ra các trường hợp mới. Sự cố này sẽ được khắc phục trong Spark 1.2.0, nơi chúng tôi có cơ chế mới kiểm tra trạng thái SSH thông minh thay vì dựa vào thời gian chờ cố định. Chúng tôi cũng đang giải quyết nguyên nhân gốc đằng sau sự chậm trễ khởi động SSH dài bằng cách xây dựng AMI mới.