Ghép nối một chuỗi trong một tệp văn bản lớn?

Question

Tôi có một danh sách các chuỗi chứa khoảng 7 triệu mục trong một tệp văn bản có kích thước 152MB. Tôi đã tự hỏi những gì có thể là cách tốt nhất để thực hiện một chức năng mà có một chuỗi duy nhất và trả về cho dù đó là trong danh sách các chuỗi.

Answer 1

Bạn sẽ phải đối sánh với tệp văn bản này nhiều lần? Nếu có, tôi sẽ tạo một HashSet<string>. Nếu không, chỉ cần đọc nó từng dòng (tôi giả sử có một chuỗi trên mỗi dòng) và xem liệu nó có khớp không.

152MB ASCII sẽ kết thúc với hơn 300MB dữ liệu Unicode trong bộ nhớ - nhưng trong các máy hiện đại có nhiều bộ nhớ, do đó, giữ toàn bộ lô trong HashSet<string> sẽ thực hiện tra cứu lặp lại rất nhanh.

Các tuyệt đối đơn giản nhất cách để làm điều này là có thể sử dụng File.ReadAllLines, mặc dù điều đó sẽ tạo ra một mảng mà sau đó sẽ bị loại bỏ - không tuyệt vời cho sử dụng bộ nhớ, nhưng có lẽ không phải là quá xấu:

HashSet<string> strings = new HashSet<string>(File.ReadAllLines("data.txt")); 
... 

if (strings.Contains(stringToCheck)) 
{ 
    ... 
} 

Answer 2

Phụ thuộc vào những gì bạn muốn làm. Khi bạn muốn lặp lại việc tìm kiếm các kết quả trùng khớp lặp đi lặp lại, tôi sẽ tải toàn bộ tệp vào bộ nhớ (vào một số HashSet). Có rất dễ dàng để tìm kiếm các trận đấu.