Tôi cần lưu trữ khoảng 100 triệu bản ghi trên cơ sở dữ liệu. Khoảng 60-70% trong số họ sẽ bị xóa hàng ngày và số lượng hồ sơ tương tự được chèn hàng ngày. Tôi cảm thấy một cơ sở dữ liệu tài liệu như Hbase, Big Table sẽ phù hợp với điều này. Có rất nhiều cửa hàng dữ liệu khác như Cassandra, MongoDb, vv Lưu trữ dữ liệu nào sẽ hữu ích cho loại vấn đề này vì sẽ có rất nhiều lần đọc/ghi (thứ tự 10 triệu) mỗi ngày.Kho dữ liệu tốt nhất cho dữ liệu lớn với số lượng lớn lần đọc và viết
5
A
Trả lời
3
Dựa trên các đặc điểm mà bạn đã đề cập (Tài liệu JSON, truy cập theo mã, 100 triệu hồ sơ, cân bằng đọc/ghi) Tôi muốn nói CouchDB hay Membase là ứng cử viên tốt (đây là một quick comparison)
Cả HBase và Cassandra có lẽ cũng có thể làm việc nhưng đối với HBase bạn cần phải cài đặt rất nhiều thành phần (Hadoop, ZooKeeper, vv) mà bạn sẽ không thực sự sử dụng d chỉ sử dụng và Cassandra là tốt hơn khi bạn có viết nhiều hơn đọc (ít nhất là thời gian qua tôi đã sử dụng nó).
Bảng lớn, thật không may là nội bộ của google:)
Các vấn đề liên quan
- 1. Thực hành tốt nhất cho dịch vụ WCF với lượng lớn dữ liệu?
- 2. WebSockets vs XHR cho số lượng lớn dữ liệu
- 3. Xử lý số lượng dữ liệu rất lớn trong MyBatis
- 4. sử dụng RavenDB để chèn số lượng lớn dữ liệu
- 5. Tạo cơ sở dữ liệu ứng dụng android với số lượng lớn dữ liệu
- 6. Gửi số lượng lớn dữ liệu giữa các chuỗi Qt
- 7. Lựa chọn cơ sở dữ liệu cho khối lượng dữ liệu lớn?
- 8. Số liệu thử nghiệm lớn trong kho
- 9. Chuyển số lượng lớn dữ liệu trong dịch vụ WCF
- 10. Ổ cắm Python Nhận số lượng lớn dữ liệu
- 11. Tải lượng lớn dữ liệu vào Postgres Hstore
- 12. Thực tiễn tốt nhất với số liệu lớn trong C#
- 13. kiểu dữ liệu lớn nhất trong C++?
- 14. Truyền lượng dữ liệu lớn qua bluetooth trên Android Gingerbread
- 15. Cách tốt nhất để dịch một lượng lớn dữ liệu văn bản là gì?
- 16. Bộ dữ liệu lớn
- 17. GZipStream trên dữ liệu lớn
- 18. C# Nhập khối lượng lớn dữ liệu từ CSV vào cơ sở dữ liệu
- 19. hợp nhất dữ liệu và nhận một mất mát lớn dữ liệu
- 20. Scikit và Pandas: Lắp dữ liệu lớn
- 21. Khai thác liên kết với số lượng lớn các tập dữ liệu nhỏ
- 22. Cách tính số lần xuất hiện mỗi phút cho tập dữ liệu lớn
- 23. Vượt qua số lượng lớn dữ liệu giữa nhân viên web và chủ đề chính
- 24. Viết một lượng lớn dữ liệu vào các đối tượng NSData-iOS
- 25. Chiến lược tốt nhất cho việc lưu giữ các tập dữ liệu lớn là gì?
- 26. Tạo mục cơ sở dữ liệu số lượng lớn hiệu quả?
- 27. Loại dữ liệu nào để sử dụng cho một số lượng rất lớn trong C++?
- 28. Làm thế nào để kiểm tra xác nhận tương tự cho số lượng lớn dữ liệu
- 29. Cách cải thiện hiệu suất nhập dữ liệu lớn với dữ liệu cốt lõi trong ios
- 30. Làm thế nào để sản xuất số lượng lớn dữ liệu?
Có lẽ bạn muốn so sánh hiệu quả. Bạn có thể nhìn thấy từng màn hình lưu trữ dữ liệu trên các trang web của họ. Chúng tôi sử dụng Cassandra cho tình huống tương tự, nhưng tôi đã không chơi với các kho dữ liệu khác – Nishant
bản chất dữ liệu của bạn có thể ảnh hưởng đến sự so sánh cơ sở dữ liệu này – Prescott
rất nhiều cửa hàng dữ liệu có thể xử lý 100 triệu bản ghi và tỷ lệ đọc/xóa này. Kích thước của hồ sơ là gì? các mẫu truy cập dữ liệu của bạn, v.v. –