Làm cách nào tốt nhất để kéo tập tin vào S3 bằng cách sử dụng FPT/SCP?

Question

Làm thế nào tốt nhất, trọng lượng nhẹ, cách để tập tin FPT/SCP đến S3 mỗi vài phút? Vì vậy, wget/curl có thể hoạt động. Ngoài ra một giải pháp tùy chỉnh có thể hoạt động, có thể Java với DB để duy trì trạng thái. Bất kỳ ý tưởng nào cũng hữu ích.

Answer 1

Chỉ cần sử dụng s3cmd hoặc boto hoặc S3 command-line tools hoặc ... cũng ... một số tùy chọn khác.

Về cơ bản, bạn chỉ đăng lên API S3. Bạn có thể làm điều đó bằng hầu hết mọi ngôn ngữ bằng cách sử dụng vô số SDK của AWS. Tuy nhiên, s3cmd là một công cụ CLI nhỏ gọn, nhẹ nhàng có thể nhiều hơn mức bạn cần.

Nhận xét của bạn cho thấy bạn đang tìm kiếm thứ gì đó hơi khác. Dưới đây là một vài khuyến nghị dựa trên nguồn và đích của các tập tin:

• Nếu bạn đang di chuyển file từ EC2 hoặc localhost của bạn để S3, sử dụng s3cmd. Nếu bạn cần chạy thường xuyên, hãy xem xét cron job. Sau đây sẽ chạy sau mỗi năm phút.

  */5 * * * * s3cmd sync --delete-removed my_local_directory/ s3://my-bucket/path/ 
  

• Nếu bạn đang di chuyển file từ S3 để EC2 hoặc localhost của bạn, sử dụng s3cmd nhưng ngược lại cú pháp:

  */5 * * * * s3cmd sync s3://my-bucket/path/ my_local_directory/ 
  

• Nếu bạn đang di chuyển file từ localhost của bạn để EC2, hãy xem xét scp hoặc rsync.

Answer 2

Bạn có thể gắn thùng S3 làm phân vùng cục bộ và làm việc với các tệp S3 khi chúng nằm trên hệ thống tệp của máy chủ của bạn. Có a number trong số good Công cụ nguồn mở có sẵn.

Nhưng từ phía tôi, tôi khuyên bạn nên xem dự án của tôi: RioFS, một hệ thống tệp không gian người dùng để gắn kết nhóm Amazon S3. Mục tiêu của dự án và những ưu điểm chính so với các công cụ tương tự khác là: đơn giản, tốc độ hoạt động và mã không có lỗi.

Hiện tại, dự án đang ở trạng thái “beta”, nhưng nó đang chạy trên một số trình tải tệp cao trong một thời gian (RioFS cung cấp truy cập tới tệp S3 nằm ở máy chủ ftp/sftp).

Chúng tôi đang xây dựng một cộng đồng xung quanh dự án của chúng tôi và đang tìm kiếm thêm nhiều người tham gia dự án của chúng tôi để thảo luận về các kế hoạch trong tương lai và trợ giúp với thử nghiệm. Từ phía chúng tôi, chúng tôi cung cấp sửa lỗi nhanh và sẽ lắng nghe yêu cầu của bạn để thêm các tính năng mới.

Một cách nhanh chóng như thế nào-to:

Bạn có thể gắn một cái xô bằng cách sử dụng lệnh sau đây (giả sử bạn đã cài đặt RioFS và đã xuất khẩu AWSACCESSKEYID và biến môi trường AWSSECRETACCESSKEY):

riofs http://s3.amazonaws.com your_bucket_name /path/to/localfolder

(xin vui lòng tham khảo mô tả của dự án và chạy riofs --help để được trợ giúp về các đối số dòng lệnh)

Xin lưu ý rằng dự án vẫn đang trong quá trình phát triển ere vẫn còn một số lỗi còn lại. Nếu bạn thấy rằng nội dung nào đó không hoạt động như mong đợi: vui lòng điền vào báo cáo vấn đề trên trang GitHub của dự án.

Hy vọng điều đó sẽ hữu ích và chúng tôi rất mong được gặp bạn tham gia cộng đồng của chúng tôi!