6
Tôi đang cố gắng sao chép một loạt tệp csv từ S3 sang Redshift bằng cách sử dụng RedShiftCopyActivity và đường dữ liệu.AWS Datapipeline RedShiftCopyActivity - cách chỉ định "cột"
Điều này hoạt động tốt miễn là cấu trúc csv khớp với cấu trúc bảng. Trong trường hợp của tôi, csv có ít cột hơn bảng và sau đó RedShiftCopyActivity không thành công với lỗi "Delimiter not found" trong stl_load_errors.
Tôi muốn sử dụng tùy chọn lệnh "cột" bản sao chép lại. Bằng cách đó tôi có thể làm cho nó hoạt động, nhưng các phần của lệnh copy redshift dường như không có sẵn trong RedShiftCopyActivity.
Bất kỳ ai đề xuất?
Tất cả mẹo được chào đón nồng nhiệt.
Rất cảm ơn trả trước.
Peter
Bạn đã bao giờ tìm ra giải pháp cho vấn đề này chưa? – Erve1879
Không có giải pháp. Chúng tôi đã có thể tránh được vấn đề này bằng cách phát triển một tập lệnh python được khởi động bởi đường ống dẫn và lệnh gọi lệnh sao chép đỏ. Ít thanh lịch hơn tôi muốn nhưng ít nhất nó hoạt động. – Peter
Cảm ơn @Peter. Khi nó xảy ra, tôi vừa viết một kịch bản Python để thay thế toàn bộ Đường ống Dữ liệu. Đã có vấn đề vô tận với redshiftCopyActivity và bảng điều khiển Pipeline dữ liệu. – Erve1879