Xuất dữ liệu từ Google Cloud Storage sang Amazon S3

Question

Tôi muốn chuyển dữ liệu từ bảng trong BigQuery, sang dữ liệu khác trong Redshift. luồng dữ liệu kế hoạch của tôi là như sau:

BigQuery -> Google Cloud Storage -> Amazon S3 -> chuyển đỏ

tôi biết về Dịch vụ Chuyển Google Cloud Storage, nhưng tôi không chắc chắn rằng nó có thể giúp tôi. Từ Google Cloud tài liệu:

Chuyển Dịch vụ Cloud Storage

Trang này mô tả Dịch vụ Chuyển Cloud Storage, mà bạn có thể sử dụng để nhanh chóng nhập dữ liệu trực tuyến vào Google Cloud Storage.

Tôi hiểu rằng dịch vụ này có thể được sử dụng để nhập dữ liệu vào Google Cloud Storage và không xuất dữ liệu.

Có cách nào tôi có thể xuất dữ liệu từ Google Cloud Storage sang Amazon S3 không?

Answer 1

Bạn có thể sử dụng gsutil để sao chép dữ liệu từ một nhóm Google Cloud Storage để một xô Amazon, sử dụng một lệnh như:

gsutil -m rsync -rd gs://your-gcs-bucket s3://your-s3-bucket 

Lưu ý rằng tùy chọn -d trên sẽ gây gsutil rsync để xóa các đối tượng từ nhóm S3 của bạn không có trong thùng GCS của bạn (ngoài việc thêm các đối tượng mới). Bạn có thể bỏ tùy chọn đó nếu bạn chỉ muốn thêm các đối tượng mới từ GCS vào thùng S3 của bạn.

Answer 2

Sử dụng Rclone (https://rclone.org/).

Rclone là một chương trình dòng lệnh để đồng bộ hóa tập tin và thư mục đến và đi từ

Google Drive 
Amazon S3 
Openstack Swift/Rackspace cloud files/Memset Memstore 
Dropbox 
Google Cloud Storage 
Amazon Drive 
Microsoft OneDrive 
Hubic 
Backblaze B2 
Yandex Disk 
SFTP 
The local filesystem 

Answer 3

Có thể là tôi có thể cung cấp cho bạn thêm một cách để xuất dữ liệu của bạn. Sử dụng công cụ CloudBerry, mà bạn cài đặt trên Google VW hoặc Amazon EC2a của bạn và sau đó cấu hình nó để lấy dữ liệu từ Google đến S3. Bạn nghĩ gì về con đường này?