thích ứng Maps trong Scala (hoặc Java) Bảo tồn Insertion tự

Question

Tôi muốn tìm và tái sử dụng (nếu có thể) một việc thực hiện bản đồ trong đó có các thuộc tính sau:

1. Trong khi số lượng các mục nhỏ, nói < 32, lưu trữ cơ bản nên được thực hiện trong một mảng như thế này [key0, val0, key1, val1, ...] Sơ đồ lưu trữ này tránh nhiều đối tượng Entry nhỏ và cung cấp cho up nhìn rất nhanh (thậm chí tho họ quét tuần tự!) trên CPU hiện đại do bộ nhớ cache của CPU không bị vô hiệu và thiếu con trỏ gián tiếp vào heap.

2. Bản đồ nên duy trì trật tự chèn cho cặp khóa/giá trị không phụ thuộc vào số lượng các mục tương tự như LinkedHashMap

Chúng tôi đang làm việc trên một trong bộ nhớ cơ quan đại diện của rất lớn (hàng triệu nút/cạnh) các đồ thị trong Scala và có một Map như vậy sẽ cho phép chúng ta lưu trữ các thuộc tính Node/Edge cũng như Edges trên mỗi nút theo cách hiệu quả hơn cho 99% + các nút và các cạnh có ít thuộc tính hoặc hàng xóm trong khi vẫn giữ thứ tự chèn thời gian cho cả hai thuộc tính và cạnh.

Nếu có ai biết về bản đồ Scala hoặc Java với các đặc điểm như vậy, tôi sẽ có nhiều nghĩa vụ.

Thanx

Answer 1

Dưới java bạn có thể duy trì mảng 2d (bảng tính). Tôi đã viết một chương trình mà về cơ bản xác định một mảng 2 d với 3 coloumns dữ liệu, và 3 coloumns để tra cứu dữ liệu. ba coloumns là testID, SubtestID và Mode. Điều này cho phép tôi về cơ bản tìm kiếm một giá trị bằng testid và chế độ hoặc bất kỳ kết hợp nào, hoặc tôi cũng có thể tham chiếu bằng vị trí tĩnh. Bảng được nạp vào bộ nhớ khi khởi động và được tham chiếu bởi chương trình. Nó có thể mở rộng không ngừng và các giá trị mới có thể được thêm khi cần thiết.

Nếu bạn quan tâm, tôi có thể đăng một ví dụ nguồn mã tối nay.

Một ý tưởng khác có thể là duy trì cơ sở dữ liệu trong chương trình của bạn. Cơ sở dữ liệu được thiết kế để tổ chức một lượng lớn dữ liệu.

Answer 2

Mặc dù tôi không biết bất kỳ triển khai nào phù hợp với yêu cầu của bạn, bạn có thể quan tâm đến việc xem trộm số Flat3Map (source) trong thư viện Jakarta Commons. Thật không may, các thư viện Jakarta khá lạc hậu (ví dụ, không hỗ trợ cho Generics trong bản phát hành ổn định mới nhất, mặc dù nó hứa hẹn sẽ thấy rằng điều này đang thay đổi trong thân cây) và tôi thường thích Google Collections, nhưng nó có thể có giá trị thời gian của bạn để xem cách Apache thực hiện mọi thứ.

Flat3Map không giữ thứ tự các khóa, thật không may, nhưng tôi có đề xuất liên quan đến bài đăng gốc của bạn. Thay vì lưu trữ các khóa và giá trị trong một mảng đơn lẻ như [key0, val0, key1, val1, ...], tôi khuyên bạn nên sử dụng các mảng song song; có nghĩa là, một mảng với [key0, key1, ...] và một mảng khác có [val0, val1, ...]. Thông thường tôi không phải là người đề xuất các mảng song song, nhưng ít nhất theo cách này bạn có thể có một mảng kiểu K, loại khóa của bạn và một loại V khác, loại giá trị của bạn. Ở cấp Java, điều này có bộ mụn cóc riêng của nó vì bạn không thể sử dụng cú pháp K[] keys = new K[32]; thay vào đó, bạn sẽ cần sử dụng a bit of typecasting.

Answer 3

Bạn đã đo bằng profiler chưa nếu LinkedHashMap quá chậm đối với bạn? Có lẽ bạn không cần bản đồ mới đó - tối ưu hóa sớm là gốc rễ của tất cả những điều xấu xa .. Dù sao để xử lý hàng triệu hoặc nhiều mẩu dữ liệu trong một bản đồ thứ hai, thậm chí được tối ưu hóa tốt nhất có thể quá chậm, bởi vì mọi cuộc gọi phương thức cũng làm giảm hiệu suất trong các trường hợp đó. Sau đó, tất cả những gì bạn có thể làm là viết lại các thuật toán từ các bộ sưu tập Java thành các mảng (tức là int -> các bản đồ đối tượng).