6
Mọi người, công ty tôi làm việc có một số cơ sở dữ liệu MySQL trên AWS (Amazon RDS). Chúng tôi đang tạo POC với BigQuery và những gì tôi đang nghiên cứu bây giờ là cách sao chép các cơ sở cho BigQuery (các thanh ghi hiện tại và các cơ sở mới trong tương lai). Nghi ngờ của tôi là:Đồng bộ hóa Amazon RDS với Google BigQuery
- Cách sao chép các bảng và hàng MySQL sang BigQuery. Có công cụ nào để làm điều đó không (tôi đang đọc về Dịch vụ di chuyển cơ sở dữ liệu Amazon)? Tôi có nên sao chép vào Google Cloud SQL và xuất sang BigQuery không?
- Làm cách nào để sao chép sổ đăng ký trong tương lai? Có thể tạo một công việc bên trong MySQL để gửi thanh ghi mới sau một số được xác định trước không? Ví dụ: sau khi 1.000 hàng mới được chèn (hoặc một thời gian được chuyển), một số sự kiện được "kích hoạt" và thanh ghi mới được sao chép vào Cloud SQL/BigQuery?
Ý tưởng ban đầu của tôi là đổ cơ sở ban đầu, tải nền tảng kia và sử dụng tập lệnh để nghe đăng ký mới và gửi chúng tới cơ sở mới.
Tôi đã giải thích đúng chưa? Có dễ hiểu không?
Tôi sử dụng xplenty để cơ bản phản chiếu các bảng từ mysql AWS RDS thành BQ. Xplenty có thể thả và tạo lại các bảng. Bạn phải trả tiền cho nó nhưng rất nhanh chóng và dễ dàng. Có thể hữu ích để đăng ký cho đường mòn thậm chí sử dụng nó cho poc. Đó là kinda những gì tôi đã làm và vẫn còn sử dụng nó như là hãy để tôi tập trung nhiều hơn vào cứng hữu ích hơn như thế nào tôi đang sử dụng dữ liệu trong BQ. Có thể là một giải pháp nhanh chóng nếu đó là nghĩa đen chỉ bạn làm điều này và cần phải được nhanh chóng. – andrewm4894