Sao chép dữ liệu từ AWS S3 sang Aurora Postgres

Question

Tôi đang cố sao chép dữ liệu từ AWS S3 sang Aurora Postgres. Hiện nay quá trình của tôi là như sau:

1. Tải tập tin từ S3 tại địa phương (trên EC2 chẳng hạn)
2. Run "COPY FROM STDIN ..." lệnh để tải dữ liệu từ input stream để postgres Aurora.

Tôi tự hỏi nếu có lệnh sao chép trực tiếp từ S3 đến Aurora postgres.

Answer 1

bài viết trên blog này từ AWS đề cập đến việc có thể làm điều đó với AWS Database Migration service

https://aws.amazon.com/blogs/database/stream-data-into-an-aurora-postgresql-database-using-aws-dms-and-amazon-kinesis-data-firehose/

AWS DMS có thể đọc dữ liệu từ nguồn xô S3 và tải chúng vào một cơ sở dữ liệu mục tiêu. Để thực hiện điều này, hãy cấp quyền truy cập vào một thùng S3 chứa một hoặc nhiều tệp dữ liệu. Trong thùng S3, bao gồm một tệp JSON mô tả ánh xạ giữa dữ liệu và các bảng cơ sở dữ liệu của dữ liệu trong các tệp đó.

Tệp dữ liệu nguồn phải ở định dạng giá trị được phân tách bằng dấu phẩy (CSV). Đặt tên cho các tập tin bằng cách sử dụng quy ước đặt tên như sau. Trong quy ước này, schemaName là lược đồ nguồn và tableName là tên của một bảng trong lược đồ đó.