Lọc hàng loạt với protobuf-net

Question

Tôi đã sắp xếp một danh sách các đối tượng với protobuf-net.

Về mặt lý thuyết, tệp .bin có thể chứa hàng triệu đối tượng.

Giả sử các đối tượng là một lớp chứa sau:

public string EventName; 

tôi phải mất một truy vấn và tạo ra một danh sách có chứa các đối tượng phù hợp với truy vấn. Cách chính xác để trích xuất các đối tượng phù hợp từ tệp được tuần tự hóa bằng LINQ là gì?

Answer 1

Định dạng protobuf là một chuỗi các mục thẳng; bất kỳ cách lập chỉ mục nào theo cách của bạn chỉ có thể được áp dụng riêng. Tuy nhiên, IEnumerable<T> có sẵn; bạn có thể thấy rằng:

var item = Serializer.DeserializeItems<YourType>(source) 
     .First(item => item.Id == id); 

thực hiện công việc độc đáo; điều này:

• là lazily spooled; mỗi mục được mang lại riêng lẻ, vì vậy bạn không cần một bộ nhớ đầy đủ
• được đoản mạch; nếu mục được tìm thấy gần bắt đầu, nó sẽ thoát ra kịp thời

Hoặc cho nhiều mục:

var list = Serializer.DeserializeItems<YourType>(source) 
    .Where(item => item.Foo == foo); 

(thêm một ToList để te cuối trên nếu bạn muốn để đệm các mục phù hợp trong bộ nhớ, hoặc sử dụng mà không có một ToList nếu bạn chỉ muốn phân tích cú pháp một lần theo cách chỉ có hướng tới)

Answer 2

Rất tiếc, không có. Để sử dụng LINQ, đối tượng của bạn phải triển khai IQueryable<T> hoặc IEnumerable<T>. Trừ khi có một nhà cung cấp LINQ có thể cung cấp một giao diện IQueryable<T> vào file .bin, bạn sẽ có thể sở để:

• Deserialize tập tin vào bộ nhớ và sử dụng LINQ-to-đối tượng IEnumerable<T>
• Viết LINQ của bạn nhà cung cấp có thể cung cấp IQueryable<T> (và đây có thể là tùy chọn thực tế duy nhất nếu tệp của bạn là HUGE) có thể xử lý tệp mà không tải toàn bộ nội dung.

Answer 3

protobuf có thể cung cấp cho bạn nội dung của các tệp dưới dạng phát trực tuyến IEnumerable<T>, vì vậy bạn có thể dễ dàng thực hiện điều đó. Thật không may tôi không biết làm thế nào phương pháp được gọi là nhưng nó rất dễ dàng để tìm thấy trong các tài liệu.

Answer 4

Nếu bạn muốn thêm một số chiếu vào danh sách các phần tử đã chọn, bạn nên thử thư viện của tôi, https://github.com/Scooletz/protobuf-linq. Họ cũng có sẵn trên NuGet. Thư viện làm giảm đáng kể quá trình deserialization. Trong một số trường hợp, nó có thể giảm tới 50% truy vấn ban đầu.