Có thể thực hiện tải lên hàng loạt lên amazon s3 không?

Question

Có hỗ trợ tải lên hàng loạt amazon s3 không? Tôi có một công việc cần tải lên mỗi đêm ~ 100 nghìn tệp có thể lên tới 1G nhưng bị lệch mạnh đối với các tệp nhỏ (90% nhỏ hơn 100 byte và 99% nhỏ hơn 1000 byte).

API s3 có hỗ trợ tải lên nhiều đối tượng trong một cuộc gọi HTTP không?

Tất cả các đối tượng phải có sẵn trong S3 dưới dạng đối tượng riêng lẻ. Tôi không thể lưu trữ chúng ở bất cứ nơi nào khác (FTP, vv) hoặc ở định dạng khác (Cơ sở dữ liệu, ổ đĩa cục bộ EC2, v.v.). Đó là một yêu cầu bên ngoài mà tôi không thể thay đổi.

Answer 1

API s3 có hỗ trợ tải lên nhiều đối tượng trong một cuộc gọi HTTP không?

Không, the S3 PUT operation chỉ hỗ trợ tải lên một đối tượng cho mỗi yêu cầu HTTP.

Bạn có thể cài đặt S3 Tools trên máy tính của bạn mà bạn muốn đồng bộ hóa với các xô từ xa, và chạy lệnh sau:

s3cmd sync localdirectory s3://bucket/ 

Sau đó, bạn có thể đặt lệnh này trong một kịch bản và tạo ra một công việc theo lịch trình để chạy lệnh này mỗi đêm.

Điều này sẽ làm những gì bạn muốn.

Công cụ thực hiện đồng bộ hóa tệp dựa trên MD5 băm và kích cỡ, vì vậy va chạm nên hiếm (nếu bạn thực sự muốn bạn chỉ có thể sử dụng lệnh "s3cmd put" để buộc ghi đè lên các đối tượng trong nhóm mục tiêu của bạn).

EDIT: Ngoài ra hãy chắc chắn rằng bạn đọc tài liệu trên trang web tôi liên kết cho S3 Tools - có lá cờ khác nhau cần thiết cho dù bạn muốn tập tin đã xóa tại địa phương để được xóa khỏi thùng hoặc bỏ qua, vv

Answer 2

Ngoài , bạn có thể tải S3 qua AWS CLI tool bằng cách sử dụng lệnh đồng bộ hóa.

AWS s3 sync local_folder s3: // xô-tên

Bạn có thể sử dụng phương pháp này để tải lên tập tin batch để S3 rất nhanh.

Answer 3

Một tệp (hoặc một phần của một tập tin) = một yêu cầu HTTP, nhưng API Java bây giờ hỗ trợ hiệu quả upload nhiều file mà không cần phải viết các xử lý đa luồng trên của riêng bạn, bằng cách sử dụng TransferManager