Cách sao chép các tập tin từ HDFS sang S3 một cách hiệu quả theo chương trình

Question

Công việc hadoop của tôi tạo ra số lượng tệp lớn trên HDFS và tôi muốn viết một chuỗi riêng biệt sẽ sao chép các tệp này từ HDFS sang S3.

Có thể bất kỳ ai trỏ tôi đến bất kỳ API java nào xử lý nó.

Cảm ơn

Answer 1

"Hỗ trợ cho khối hệ thống tập tin S3 đã được thêm vào $ {HADOOP_HOME}/bin/hadoop cụ distcp trong Hadoop 0.11.0 (Xem Hadoop-862). Các công cụ distcp thiết lập một công việc MapReduce Sử dụng distcp, một nhóm nhiều thành viên có thể sao chép rất nhiều dữ liệu một cách nhanh chóng Số nhiệm vụ bản đồ được tính bằng cách đếm số lượng tệp trong nguồn: nghĩa là mỗi tác vụ bản đồ chịu trách nhiệm sao chép một tệp. Ví dụ, nguồn có thể tham chiếu đến hệ thống tập tin cục bộ hoặc hdfs với S3 làm mục tiêu. "

Kiểm tra chạy bản sao số lượng lớn trong và ngoài S3 tại đây http://wiki.apache.org/hadoop/AmazonS3