Làm cách nào để di chuyển các tệp giữa hai Thùng chứa Amazon S3 bằng boto?

Question

Tôi phải di chuyển các tệp giữa một nhóm sang nhóm khác với API Boto Python. (Tôi cần nó để "Cắt" các tập tin từ Bucket đầu tiên và "Dán" nó trong lần thứ hai). Cách tốt nhất để làm điều đó là gì?

** Lưu ý: Đó có phải là vấn đề nếu tôi có hai phím TRUY CẬP và BÍ MẬT KHÁC?

Answer 1

Tôi nghĩ tài liệu boto S3 sẽ trả lời câu hỏi của bạn.

https://github.com/boto/boto/blob/develop/docs/source/s3_tut.rst

Di chuyển tập tin từ một xô khác thông qua boto là một cách hiệu quả một bản sao của các phím từ nguồn tới đích hơn loại bỏ phím từ nguồn.

Bạn có thể nhận được quyền truy cập vào các xô:

import boto 

c = boto.connect_s3() 
src = c.get_bucket('my_source_bucket') 
dst = c.get_bucket('my_destination_bucket') 

và lặp các phím:

for k in src.list(): 
    # copy stuff to your destination here 
    dst.copy_key(k.key.name, src, k.key.name) 
    # then delete the source key 
    k.delete() 

Xem thêm: Is it possible to copy all files from one S3 bucket to another with s3cmd?

Answer 2

tên Bucket phải là chuỗi không đối tượng xô. Dưới sự thay đổi làm việc cho tôi

for k in src.list(): 
    dst.copy_key(k.key, src.name, k.key) 

Answer 3

awscli hiện công việc 30 lần nhanh hơn cho tôi hơn boto đối phó và xóa mỗi phím. Có lẽ do đa luồng trong awscli. Nếu bạn vẫn muốn chạy nó từ kịch bản python của bạn mà không gọi các lệnh shell từ nó, bạn có thể thử một cái gì đó như thế này:

Install awscli gói python:

sudo pip install awscli 

Và sau đó nó cũng đơn giản như thế này:

import os 
if os.environ.get('LC_CTYPE', '') == 'UTF-8': 
    os.environ['LC_CTYPE'] = 'en_US.UTF-8' 

from awscli.clidriver import create_clidriver 
driver = create_clidriver() 
driver.main('s3 mv source_bucket target_bucket --recursive'.split()) 

Answer 4

Nếu bạn đang sử dụng boto3 (phiên bản boto mới hơn) này là khá đơn giản

import boto3 
s3 = boto3.resource('s3') 
copy_source = { 
    'Bucket': 'mybucket', 
    'Key': 'mykey' 
} 
s3.meta.client.copy(copy_source, 'otherbucket', 'otherkey') 

(Docs)