2011-12-23 35 views
5

Tôi cần lưu trữ khoảng 100 triệu bản ghi trên cơ sở dữ liệu. Khoảng 60-70% trong số họ sẽ bị xóa hàng ngày và số lượng hồ sơ tương tự được chèn hàng ngày. Tôi cảm thấy một cơ sở dữ liệu tài liệu như Hbase, Big Table sẽ phù hợp với điều này. Có rất nhiều cửa hàng dữ liệu khác như Cassandra, MongoDb, vv Lưu trữ dữ liệu nào sẽ hữu ích cho loại vấn đề này vì sẽ có rất nhiều lần đọc/ghi (thứ tự 10 triệu) mỗi ngày.Kho dữ liệu tốt nhất cho dữ liệu lớn với số lượng lớn lần đọc và viết

+0

Có lẽ bạn muốn so sánh hiệu quả. Bạn có thể nhìn thấy từng màn hình lưu trữ dữ liệu trên các trang web của họ. Chúng tôi sử dụng Cassandra cho tình huống tương tự, nhưng tôi đã không chơi với các kho dữ liệu khác – Nishant

+0

bản chất dữ liệu của bạn có thể ảnh hưởng đến sự so sánh cơ sở dữ liệu này – Prescott

+0

rất nhiều cửa hàng dữ liệu có thể xử lý 100 triệu bản ghi và tỷ lệ đọc/xóa này. Kích thước của hồ sơ là gì? các mẫu truy cập dữ liệu của bạn, v.v. –

Trả lời

3

Dựa trên các đặc điểm mà bạn đã đề cập (Tài liệu JSON, truy cập theo mã, 100 triệu hồ sơ, cân bằng đọc/ghi) Tôi muốn nói CouchDB hay Membase là ứng cử viên tốt (đây là một quick comparison)

Cả HBase và Cassandra có lẽ cũng có thể làm việc nhưng đối với HBase bạn cần phải cài đặt rất nhiều thành phần (Hadoop, ZooKeeper, vv) mà bạn sẽ không thực sự sử dụng d chỉ sử dụng và Cassandra là tốt hơn khi bạn có viết nhiều hơn đọc (ít nhất là thời gian qua tôi đã sử dụng nó).

Bảng lớn, thật không may là nội bộ của google:)

Các vấn đề liên quan