Cách chuyển tệp giữa AWS s3 và AWS ec2

Question

Tôi đang sử dụng phiên bản AWS ec2. Trong trường hợp này, tôi tạo ra một số tập tin. Các hoạt động này được thực hiện bởi dữ liệu người dùng.

Bây giờ tôi muốn lưu trữ các tệp đó trên s3 bằng cách viết mã trong chính dữ liệu người dùng.

• Vậy làm cách nào để lưu trữ các tệp đó trên s3?
• Có bất kỳ hướng dẫn nào về nó?

Answer 1

Tôi đang sử dụng s3cmd để lưu trữ tệp sao lưu cơ sở dữ liệu đã xuất hàng đêm từ ví dụ ec2 của mình. Sau khi cấu hình của s3cmd, mà bạn có thể đọc về tại trang web của họ, sau đó bạn có thể chạy một lệnh như:

s3cmd put ./myfile s3://mybucket

Answer 2

Có một số cách để gửi các tập tin để S3. Tôi đã liệt kê chúng bên dưới cùng với cài đặt và tài liệu có liên quan.

• S3CMD: (http://s3tools.org/s3cmd) Bạn có thể cài đặt này trên debian/ubuntu một cách dễ dàng thông qua apt-get install s3cmd, sau đó chạy từ dòng lệnh. Bạn có thể kết hợp điều này vào một tập lệnh bash hoặc chương trình của bạn.

• S3FS: (http://www.pophams.com/blog/howto-setups3fsonubuntu1104x64 và https://code.google.com/p/s3fs/wiki/InstallationNotes) ... Đây gắn kết một xô s3, để nó trông giống như một đĩa địa phương. Phải mất một chút nỗ lực để thiết lập, nhưng sau khi đĩa được gắn kết, bạn không cần phải làm bất cứ điều gì đặc biệt để lấy các tệp trong nhóm của mình.

• Nếu bạn sử dụng một CMS (cho phép sử dụng Drupal là một ví dụ), bạn có thể có tùy chọn sử dụng một mô-đun để xử lý quyền truy cập vào xô ví dụ của bạn http://drupal.org/project/storage_api

• Cuối cùng, bạn có thể sử dụng ngôn ngữ lập trình triển khai để xử lý tất cả các logic cho mình, cho PHP bạn có thể bắt đầu với http://undesigned.org.za/2007/10/22/amazon-s3-php-class này và xem tài liệu ở đây http://undesigned.org.za/2007/10/22/amazon-s3-php-class/documentation

Một ví dụ về sự im PHP plementation:

<?php 

    // Simple PUT: 
    if (S3::putObject(S3::inputFile($file), $bucket, $uri, S3::ACL_PRIVATE)) { 
     echo "File uploaded."; 
    } else { 
     echo "Failed to upload file."; 
    } 

?> 

Một ví dụ về s3cmd:

s3cmd put my.file s3://bucket-url/my.file 

Sửa

Một lựa chọn khác đáng đề cập là AWS CLI http://aws.amazon.com/cli/ này được phổ biến rộng rãi, ví dụ nó đã được bao gồm trên AmazonLinux và có thể được tải xuống thông qua Python (được cài đặt trên nhiều hệ thống bao gồm cả linux và windows).

http://docs.aws.amazon.com/cli/latest/reference/s3/index.html

lệnh có sẵn, cp ls mb mv rb rm đồng bộ website

http://docs.aws.amazon.com/cli/latest/reference/s3api/index.html để tương tác với S3

Answer 3

Sử dụng s3cmd cho rằng:

s3cmd get s3://AWS_S3_Bucket/dir/file 

Xem ho w để cài đặt s3cmd here:

này làm việc cho tôi ...

Answer 4

Install s3cmd trọn gói như:

yum install s3cmd 

hoặc

sudo apt-get install s3cmd 

tùy thuộc vào hệ điều hành của bạn. Sau đó sao chép dữ liệu bằng cách này:

s3cmd get s3://tecadmin/file.txt 

cũng ls có thể liệt kê các tệp.

Để biết thêm detils thấy this

Answer 5

Sử dụng gần đây nhất AWS CLI (http://aws.amazon.com/cli/) bạn có thể sử dụng các lệnh sau đây để sao chép tập tin từ EC2 Instance của bạn hoặc thậm chí bạn máy tính cục bộ để lưu trữ S3.

aws s3 cp myfolder s3://mybucket/myfolder --recursive 

Sau đó bạn sẽ nhận được một cái gì đó như:

upload: myfolder/file1.txt to s3://mybucket/myfolder/file1.txt 
upload: myfolder/subfolder/file1.txt to s3://mybucket/myfolder/subfolder/file1.txt 

Nếu đây là sử dụng đầu tiên của công cụ aws CLI sau đó bạn sẽ cần phải chạy:

aws configure

Điều này sẽ yêu cầu bạn nhập khóa truy cập & bí mật cùng với việc chỉ định khu vực mặc định.

Answer 6

Mọi nỗ lực gắn kết s3 dưới dạng hệ thống tệp giả đều có vấn đề. Đó là một cửa hàng đối tượng, không phải là một thiết bị khối. Nếu bạn phải gắn kết nó vì bạn có mã kế thừa phải có đường dẫn tệp cục bộ, hãy thử goofys. Nó nhanh hơn khoảng 50 lần so với s3fs. https://github.com/kahing/goofys

s3cmd hơi dài trong răng vào những ngày này. AWS cli là một lựa chọn tốt hơn những ngày này. Cú pháp là một chút ít thuận tiện, nhưng nó là một công cụ ít hơn bạn cần phải giữ xung quanh.

Nếu bạn có thể truy cập vào quyền truy cập http. Nó sẽ làm cho bạn cuộc sống dễ dàng hơn trong thời gian dài.