Đề xuất Bản đồ liên tục nhanh và có thể mở rộng - Java

Question

Tôi cần cấu trúc Bản đồ được sao lưu trên đĩa để sử dụng trong ứng dụng Java. Nó phải có các tiêu chuẩn sau:

1. Có khả năng lưu trữ hàng triệu bản ghi (thậm chí hàng tỷ)
2. Nhanh tra cứu - đa số các hoạt động trên Bản đồ sẽ chỉ đơn giản là để xem nếu một chìa khóa đã tồn tại. Điều này, và 1 ở trên là các tiêu chí quan trọng nhất. Nên có một hiệu quả trong cơ chế bộ nhớ đệm cho các phím thường được sử dụng.
3. Liên tục, nhưng không cần phải giao dịch, có thể bị lỗi. tức là đồng bộ với đĩa định kỳ và không cần phải giao dịch.
4. Có khả năng lưu trữ các loại nguyên thủy đơn giản - nhưng tôi không cần lưu trữ các đối tượng được tuần tự hóa.
5. Nó không cần phải được phân phối, tức là sẽ chạy tất cả trên một máy.
6. Đơn giản để thiết lập & miễn phí để sử dụng.
7. Không có truy vấn quan hệ nào được yêu cầu

Phím ghi sẽ là chuỗi hoặc thời lượng dài. Như được mô tả ở trên lần đọc sẽ thường xuyên hơn nhiều so với viết và phần lớn các lần đọc sẽ chỉ đơn giản là kiểm tra xem một khóa có tồn tại hay không (tức là không cần phải đọc các khóa liên quan đến dữ liệu). Mỗi bản ghi sẽ chỉ được cập nhật một lần và các bản ghi sẽ không bị xóa.

Tôi hiện đang sử dụng Bdb JE nhưng đang tìm kiếm các tùy chọn khác.

---

Cập nhật

Có từ hiệu suất truy vấn cải tiến về thiết lập BDB hiện tại của tôi bằng cách giảm sự phụ thuộc vào các phím thứ yếu. Một số truy vấn yêu cầu tham gia vào hai khóa phụ và bằng cách kết hợp chúng thành khóa tổng hợp, tôi đã loại bỏ mức độ gián đoạn trong quá trình tra cứu nhằm tăng tốc độ cho mọi thứ một cách độc đáo.

Answer 1

Tôi có thể sử dụng cơ sở dữ liệu cục bộ. Giống như nói Bdb JE hoặc HSQLDB. Tôi có thể hỏi những gì là sai với cách tiếp cận này? Bạn phải có một số lý do để tìm kiếm giải pháp thay thế.

Để trả lời nhận xét: Khi thực hiện vấn đề và tôi đoán bạn đã sử dụng JDBC để xử lý việc này có thể đáng thử HSQLB và đọc chương trên Memory and Disk Use.

Answer 2

Tôi nghĩ rằng Hibernate Shards có thể dễ dàng đáp ứng tất cả các yêu cầu của bạn.

Answer 3

SQLite thực hiện việc này. Tôi đã viết một trình bao bọc để sử dụng nó từ Java: http://zentus.com/sqlitejdbc

Như tôi đã đề cập trong một nhận xét, tôi đã sử dụng thành công SQLite với gigabyte dữ liệu và bảng của hàng trăm triệu hàng. Nếu bạn nghĩ ra việc lập chỉ mục đúng cách, nó rất nhanh.

Sự đau đớn duy nhất là giao diện JDBC. So với một HashMap đơn giản, nó là clunky. Tôi thường kết thúc viết một trình bao bọc JDBC cho dự án cụ thể, có thể thêm tối đa rất nhiều mã soạn sẵn.

Answer 4

JBoss (tree) Cache là một tùy chọn tuyệt vời. Bạn có thể sử dụng nó độc lập từ JBoss. Rất mạnh mẽ, hiệu suất và linh hoạt.

Answer 5

Bạn có thể muốn xem xét OrientDB.

Answer 6

Tôi đã tìm thấy Tokyo Cabinet là một Hash/Map liên tục đơn giản và nhanh chóng để thiết lập và sử dụng.

dụ viết tắt này, lấy từ the docs, cho thấy cách đơn giản nó là để lưu và lấy dữ liệu từ một bản đồ liên tục:

// create the object 
    HDB hdb = new HDB(); 
    // open the database 
    hdb.open("casket.tch", HDB.OWRITER | HDB.OCREAT); 
    // add item 
    hdb.put("foo", "hop"); 
    hdb.close(); 

Answer 7

JDBM3 thực hiện chính xác những gì bạn đang tìm kiếm. Nó là một thư viện các bản đồ được sao lưu đĩa với API thực sự đơn giản và hiệu suất cao.

CẬP NHẬT

Dự án này hiện nay đã phát triển thành MapDB http://www.mapdb.org

Answer 8

Bạn có thể thử Java Chronicles từ http://openhft.net/products/chronicle-map/ Chronicle Map là một hiệu suất cao, off-heap, giá trị khóa, trong bộ nhớ, vẫn kiên trì kho dữ liệu. Nó hoạt động giống như một bản đồ java chuẩn

Answer 9

Tính đến hôm nay tôi sẽ sử dụng MapDB (dựa trên tập tin/được đồng bộ hóa hoặc đồng bộ hóa) hoặc Hazelcast. Về sau bạn sẽ phải thực hiện sự kiên trì của riêng bạn, tức là được hỗ trợ bởi một RDBMS bằng cách thực hiện một giao diện Java. OpenHFT biên niên sử có thể là một lựa chọn khác. Tôi không chắc chắn làm thế nào sự bền vững hoạt động ở đó vì tôi không bao giờ sử dụng nó, nhưng yêu cầu bồi thường để có một. OpenHFT là hoàn toàn tắt heap và cho phép cập nhật một phần của các đối tượng (của nguyên thủy) mà không có (de-) serialization, mà có thể là một lợi ích hiệu suất.

GHI CHÚ: Nếu bạn cần đĩa bản đồ của mình dựa trên các vấn đề về bộ nhớ, tùy chọn đơn giản nhất là MapDB. Hazelcast có thể được sử dụng làm bộ đệm (được phân phối hay không) cho phép bạn loại bỏ các phần tử khỏi đống sau thời gian hoặc kích thước. OpenHFT là tắt heap và có thể được xem xét nếu bạn chỉ cần kiên trì cho jvm khởi động lại.