cdb - lưu trữ khóa-giá trị không đổi cho các tệp lớn (hàng trăm GB)

Question

Tôi cần một công cụ tương tự như cdb (cơ sở dữ liệu không đổi) cho phép tôi lưu trữ bộ dữ liệu lớn (trong phạm vi hàng trăm gigabyte) các tập tin. CDB là một ứng cử viên lý tưởng nhưng nó có giới hạn kích thước tệp là 2 GB nên không phù hợp. Chức năng tôi đang tìm kiếm là một kho khóa-giá trị liên tục hỗ trợ các khóa và giá trị nhị phân. Sau khi tạo cơ sở dữ liệu chỉ đọc và sẽ không bao giờ được sửa đổi. Bạn có thể giới thiệu một số công cụ không? Và btw, chi phí lưu trữ nên nhỏ vì tôi sẽ lưu trữ hàng tỷ bản ghi.

BTW Tôi đang tìm thư viện quản lý db (có thể nhúng), không phải máy chủ độc lập. Cái gì đó có thể được sử dụng bên trong một chương trình C.

Cảm ơn, RG

Answer 1

lựa chọn khác là mcdb, được mở rộng từ cdb Dan J. Bernstein.

https://github.com/gstrauss/mcdb/

mcdb hỗ trợ cơ sở dữ liệu liên tục rất lớn và nhanh hơn cdb, cả hai để tạo cơ sở dữ liệu và truy cập cơ sở dữ liệu. Tuy nhiên, việc tạo một cơ sở dữ liệu hàng trăm gigabyte có thể mất một chút thời gian. mcdb có thể tạo một cơ sở dữ liệu cỡ gigabyte trong vài giây cho dữ liệu được lưu trong bộ nhớ cache hoặc trong một phút hoặc lâu hơn khi bắt đầu từ bộ nhớ cache lạnh.

https://github.com/gstrauss/mcdb/blob/master/t/PERFORMANCE

(Tiết lộ: Tôi là tác giả của mcdb)

Answer 2

Có hamsterdb (i là tác giả), BerkeleyDB, tokyo tủ.

hamsterdb sử dụng btree và do đó sắp xếp dữ liệu của bạn. tokyo nội là một bảng băm và do đó không được sắp xếp. berkeleydb có thể làm cả hai.

Không cần phải nói những gì tôi muốn giới thiệu;)

Tất cả chúng có thể được liên kết với ứng dụng C. Không ai trong số họ nên có một giới hạn 2GB.

tạm biệt Christoph

Answer 3

Nếu giá trị của bạn là lớn và các phím nhỏ, bạn có thể xem xét redis cũng http://redis.io