2012-03-23 19 views
5

Tôi cần lưu trữ 250 triệu bản ghi Chuỗi -> Ánh xạ chuỗi và cơ sở dữ liệu có vẻ quá tải cho loại điều này.Tạo lưu trữ dữ liệu dựa trên văn bản của riêng tôi

Tôi không thể lưu trữ bộ nhớ này vì bộ nhớ sẽ hết dung lượng lưu trữ. Tôi có thể mở rộng không gian heap, nhưng tôi không muốn làm điều này.

Tôi muốn truy cập nhanh vì tôi có thể đến một bản đồ đơn nhất có thể và muốn biết cách tốt nhất để thực hiện việc này.

Chuỗi ban đầu là duy nhất và những gì tôi sẽ tìm kiếm theo. Tôi cũng biết phạm vi chiều dài chuỗi sẽ nằm trong, nhưng giá trị được ánh xạ của nó có thể là bất kỳ độ dài nào.

Có thể lấy thứ gì đó nhanh như cơ sở dữ liệu để tìm kiếm không? Tôi đoán không nhưng chỉ muốn chắc chắn.

Tôi đang làm việc trong Java, nhưng tôi cho rằng đây sẽ là ngôn ngữ độc lập.

+7

với tôi cho 250 triệu bản ghi, cơ sở dữ liệu không có vẻ như 'quá tải'. Tôi sẽ đi với một db – franka

+0

Bạn nhận ra rằng ngay sau khi bạn di chuyển dữ liệu của bạn từ bộ nhớ vào một tập tin tốc độ sẽ là đơn đặt hàng của cường độ thấp hơn, phải không? – dasblinkenlight

+1

Khi cơ sở dữ liệu bị quá tải, bạn có nghĩ rằng bạn có thể xử lý nó trong hệ thống tệp đơn giản không? – kosa

Trả lời

1

Bạn không thể sử dụng kho khóa-giá trị đã tồn tại như Voldemort, CouchDB hoặc Cassandra? Có rất nhiều dự án hiện có, tại sao lại viết một dự án mới?

+0

Điều này có lẽ nên là một bình luận, không phải là một câu trả lời. – David

+0

Vâng đó là một câu trả lời - phần mềm làm điều đó đã tồn tại, hãy sử dụng nó. –

Các vấn đề liên quan