2012-04-27 37 views
6

Tôi hiện đang tìm cách xử lý tập dữ liệu lớn.có bất kỳ điểm chuẩn nào cho các vùng chứa dữ liệu lớn không?

có vẻ như giải pháp thường được đề xuất là stxxl, tuy nhiên tôi cần biết thêm về nó trước khi đưa ra quyết định.

câu hỏi là

  1. là STXXL hoàn toàn nền tảng trung lập?

  2. Bất kỳ lựa chọn thay thế nào?

  3. Bất kỳ điểm chuẩn nào về thư viện dữ liệu lớn?

+9

Quy mô lớn bao nhiêu? – GManNickG

+4

[Ấn phẩm STXXL] (http://algo2.iti.kit.edu/dementiev/files/TRKA2005_18.pdf) chứa một số dữ liệu điểm chuẩn. Tuy nhiên, tôi phải nói rằng tôi đang thiếu phân tích khả năng mở rộng. –

Trả lời

1

1) Cá nhân tôi đã thử nó trên cả Windows và Linux và không có lý do gì không được biên dịch trên máy Mac. Tuy nhiên, tôi không biết ý bạn là gì bởi trung tính.

2) Có các lựa chọn thay thế như TPIE, LEDA-SM vv không được phát triển nữa. Tôi nghĩ STXXL là lựa chọn tốt nhất của bạn vì nó hỗ trợ PDM (Mô hình đĩa song song).

+0

@GManNickG 2GB ~ 50GB? tập trung vào câu hỏi này là 'Vùng chứa nào cho thấy hiệu suất tốt nhất, trong trường hợp đó, tập dữ liệu yêu cầu x2 ~ x5 bộ nhớ chính (4GB ~ 16GB)' và khả năng mở rộng thậm chí 1TB ~ là vấn đề phụ. (có vẻ như không có nhiều lựa chọn thay thế ...) 1) 'trung lập' có nghĩa là 'nền tảng độc lập' và câu trả lời của bạn đủ đủ cho câu hỏi của tôi. cám ơn! 2) có vẻ như stxxl được chấp nhận rộng rãi. – user1360513

Các vấn đề liên quan