5
Kích thước biểu đồ bằng hàng tỷ nút và hàng chục tỷ đỉnh.Làm thế nào để lưu trữ một đồ thị lớn không có trọng số trực tiếp với hàng tỷ nút và đỉnh
Nó sẽ lưu trữ url trang web và liên kết giữa các trang web và liên kết sẽ được sử dụng để kiểm tra thuật toán xếp hạng.
Mọi ngôn ngữ đều tốt nhưng java được ưu tiên.
Solutions tôi tìm thấy cho đến nay:
- neo4j
- lưu trữ trong các tập tin phẳng được sắp xếp
Vâng, tôi đã đọc Best Way to Store/Access a Directed Graph.
Cập nhật
Các dữ liệu có thể được phân phối trên nhiều máy tính và không cần phải được hoàn toàn trong bộ nhớ.
Câu hỏi của bạn hơi mơ hồ, bạn có thực sự cần truy cập vào tất cả tập dữ liệu không? Hoặc là bạn chỉ cần hình dung các nút kết nối. Những gì tôi thường làm, và những gì nhiều người trong lĩnh vực của tôi làm chỉ đơn giản là lấy mẫu được tính toán rộng của dữ liệu và sau đó hiển thị nó. Đây có thể không phải là một cách tiếp cận đủ chính xác tùy theo nhu cầu của bạn – slimbo
Bạn có cần giữ dữ liệu của mình trong bộ nhớ không? Nếu vậy, chỉ cần quên nó ... Làm rõ câu hỏi của bạn hoặc xem xét sử dụng bộ nhớ ngoài (cơ sở dữ liệu được lập chỉ mục). – NewbiZ
@Steve: thuật toán xếp hạng cần phải quét tất cả các liên kết để xuất một giá trị cho mỗi liên kết. Vì vậy, sử dụng một tập hợp con/mẫu không hoạt động. – elhoim