MySQL Cluster có thể xử lý một cơ sở dữ liệu terabyte

Question

Tôi phải xem xét các giải pháp để cung cấp cơ sở dữ liệu MySQL có thể xử lý khối lượng dữ liệu trong phạm vi terabyte và có sẵn cao (năm nines). Mỗi hàng cơ sở dữ liệu có khả năng có dấu thời gian và tối đa 30 giá trị float. Khối lượng công việc dự kiến ​​lên tới 2500 lần chèn/giây. Các truy vấn có thể ít thường xuyên hơn nhưng có thể lớn (có thể liên quan đến 100Gb dữ liệu) mặc dù có lẽ chỉ liên quan đến các bảng đơn.

Tôi đã xem cụm MySQL được cung cấp đó là cung cấp HA của họ. Do khối lượng dữ liệu tôi cần phải sử dụng bộ nhớ dựa trên đĩa. Thực tế, tôi nghĩ rằng chỉ có các dấu thời gian có thể được giữ trong bộ nhớ và tất cả các dữ liệu khác sẽ cần phải được lưu trữ trên đĩa.

Có ai có kinh nghiệm sử dụng MySQL Cluster trên cơ sở dữ liệu có quy mô này không? Nó có khả thi không? Dung lượng lưu trữ trên đĩa ảnh hưởng như thế nào đến hiệu suất?

Tôi cũng mở cho các đề xuất khác về cách đạt được tính khả dụng mong muốn cho khối lượng dữ liệu này. Ví dụ, sẽ tốt hơn nếu sử dụng một thư viện của bên thứ ba như Sequoia để xử lý việc phân cụm các cá thể MySQL chuẩn? Hoặc một giải pháp chuyển tiếp thẳng dựa trên nhân rộng MySQL?

Điều kiện duy nhất là nó phải là giải pháp dựa trên MySQL. Tôi không nghĩ rằng MySQL là cách tốt nhất để đi cho các dữ liệu chúng tôi đang đối phó với nhưng nó là một yêu cầu khó khăn.

Answer 1

Tốc độ khôn ngoan, nó có thể được xử lý. Kích thước khôn ngoan, câu hỏi không phải là kích thước của dữ liệu của bạn, mà đúng hơn là kích thước của chỉ mục của bạn khi các chỉ mục phải khớp hoàn toàn trong bộ nhớ.

Tôi rất sẵn lòng cung cấp câu trả lời tốt hơn, nhưng công việc cơ sở dữ liệu cao cấp phụ thuộc rất nhiều vào công việc. Tôi cần phải biết nhiều hơn về những gì đang xảy ra với dữ liệu để được trợ giúp thêm.

Answer 2

Được rồi, tôi đã làm đọc phần về mySQL là một yêu cầu khó khăn. Vì vậy, với điều đó đã nói, hãy để tôi chỉ ra rằng khối lượng công việc bạn đang nói về - 2500 chèn/giây, truy vấn hiếm, truy vấn có khả năng có kết quả lên tới 10% toàn bộ tập dữ liệu - chỉ là về bi quan cho bất kỳ hệ thống cơ sở dữ liệu quan hệ nào.

(Điều này thay vì nhắc tôi về một dự án, từ lâu, nơi tôi có yêu cầu tải 100 megabyte dữ liệu chương trình qua đường dây 9600 baud RS-422 (cũng là yêu cầu khó) trong chưa đầy 300 giây (cũng một yêu cầu khó khăn.) Thực tế là 1kbyte/sec × 300 giây = 300kbyte dường như không giao tiếp.)

Sau đó, có phần về "chứa tối đa 30 nổi". Phrasing ít nhất cho thấy rằng số lượng mẫu cho mỗi chèn là biến, cho thấy lần lượt một số vấn đề bình thường - hoặc người nào khác cần phải làm cho mỗi hàng 30 mục rộng và sử dụng NULLs.

Nhưng với tất cả những gì đã nói, được rồi, bạn đang nói về 300Kbytes/giây và 2500 TPS (giả sử đây thực sự là một chuỗi các mẫu không liên quan). Điều này ít nhất là set of benchmarks, cho thấy nó không nằm ngoài phạm vi khả năng.

Answer 3

This article thực sự hữu ích trong việc xác định những gì có thể làm chậm cơ sở dữ liệu MySQL lớn.

Answer 4

Có thể thử phân mảnh ngủ đông và chạy MySQL trên 10 nút với 1/2 terabyte mỗi để bạn có thể xử lý 5 terabyte sau đó;) vượt quá giới hạn của bạn tôi nghĩ?