Numpy và Scipy với Amazon Elastic MapReduce

Question

Sử dụng mrjob để chạy mã python trên Bản đồ Đàn hồi của AmazonReduce của Amazon Tôi đã tìm thấy thành công một cách để nâng cấp hình ảnh và vệt bẩn của hình ảnh EMR.

Chạy từ giao diện điều khiển các lệnh sau làm việc:

tar -cvf py_bundle.tar mymain.py Utils.py numpy-1.6.1.tar.gz scipy-0.9.0.tar.gz 

    gzip py_bundle.tar 

    python my_mapper.py -r emr --python-archive py_bundle.tar.gz --bootstrap-python-package numpy-1.6.1.tar.gz --bootstrap-python-package scipy-0.9.0.tar.gz > output.txt 

này bootstraps thành công NumPy mới nhất và scipy vào hình ảnh và hoạt động hoàn hảo. Câu hỏi của tôi là vấn đề tốc độ. Điều này mất 21 phút để cài đặt chính nó trên một ví dụ nhỏ.

Có ai có ý tưởng nào về cách tăng tốc quá trình nâng cấp gọn gàng và scipy không?

Answer 1

Cách duy nhất để làm bất cứ điều gì với hình ảnh EMR là sử dụng các hành động khởi động. Làm điều này từ bảng điều khiển có nghĩa là bạn sẽ chỉ thay đổi nút chính và không phải là các nút tác vụ thực hiện quá trình xử lý. Các hành động Bootstrap chạy một lần khi khởi động trên tất cả các nút và có thể là một kịch bản lệnh đơn giản được thực thi shell.

elastic-mapreduce --create --bootstrap-action "s3://bucket/path/to/script" ... 

Để tăng tốc độ thay đổi hình ảnh EMR, tải lên các tệp đã cài đặt và tải lên S3. Sau đó, sử dụng một hành động khởi động để tải xuống và triển khai. Bạn sẽ phải lưu trữ riêng cho các máy 32 bit (vi mô, nhỏ, trung bình) và 64 bit.

Các lệnh để tải về từ S3 trong kịch bản là:

hadoop fs -get s3://bucket/path/to/archive /tmp/archive 

Answer 2

Câu trả lời hiện tại cho câu hỏi này là NumPy đã được cài đặt trên EMR, bây giờ.

Nếu bạn muốn cập nhật NumPy lên phiên bản mới hơn phiên bản hiện có, bạn có thể chạy tập lệnh (dưới dạng hành động khởi động) có số sudo yum -y install numpy. NumPy sau đó được cài đặt trong thời gian không.