Tôi hiện đang sử dụng Amazon Redshift để lưu trữ dữ liệu tổng hợp từ 50-100 GB (tức là hàng triệu hàng) của các tệp được phân cách bằng tab được đẩy vào thùng trong Amazon S3 mỗi ngày.Có cách nào để chèn số lượng lớn vào Amazon Aurora RDS trực tiếp từ các tệp phân tách tab Amazon S3 trong C# không?
Redshift giúp việc này trở nên dễ dàng bằng cách cung cấp lệnh copy có thể được nhắm mục tiêu trực tiếp đến thùng S3 để tải dữ liệu hàng loạt.
Tôi muốn sử dụng Amazon Aurora RDS cho mục đích tương tự này. Tài liệu về Aurora là mỏng, tốt nhất, ngay bây giờ. Có cách nào để tải hàng loạt trực tiếp từ S3 vào Aurora không? Theo như tôi có thể nói, MySql's LOAD DATA INFILE yêu cầu một đường dẫn đến tệp trên đĩa, mà tôi cho rằng tôi có thể làm việc xung quanh bằng cách tải xuống tsv xuống một cá thể AWS và chạy lệnh từ đó, mặc dù đó không phải là lý tưởng .
Tôi cũng đã cố gắng đọc tsv vào bộ nhớ và tạo nhiều câu lệnh insert. Điều này rõ ràng là chậm và clunky.
Ý tưởng?
CẬP NHẬT 11/2016:
Tính đến phiên bản Aurora 1.8 bây giờ bạn có thể sử dụng các lệnh sau để số lượng lớn dữ liệu tải S3:
LOAD DATA FROM S3
hoặc
LOAD XML FROM S3