Làm thế nào để tạo một chuỗi từ mảng char mà không cần sao chép nó?

Question

Tôi có một mảng char rất lớn mà tôi cần phải chuyển đổi thành chuỗi để sử dụng Regex trên đó.
Nhưng nó quá lớn đến nỗi tôi nhận được OutOfMemoryException khi tôi chuyển cho nhà xây dựng chuỗi.

Tôi biết chuỗi đó là bất biến và do đó nó không nên có thể chỉ định bộ sưu tập nhân vật cơ bản của nó nhưng tôi cần một cách để sử dụng biểu thức thông thường trên mà không cần sao chép toàn bộ điều.

Làm cách nào để nhận được mảng đó?

• Tôi lấy từ tệp bằng cách sử dụng StreamReader. Tôi biết vị trí bắt đầu và độ dài của nội dung cần đọc, các phương pháp Read và ReadBlock cần tôi cung cấp bộ đệm char[].

Vì vậy, đây là những điều tôi muốn biết:

• Có cách nào để xác định thu underlaying một chuỗi? (Liệu nó thậm chí giữ các ký tự của nó trong một mảng?)
• ... hoặc sử dụng Regex trực tiếp trên một mảng char?
• ... hoặc nhận trực tiếp một phần của tệp dưới dạng chuỗi?

Answer 1

Tôi nghĩ rằng đặt cược tốt nhất của bạn là đọc nhiều chuỗi char [] thành các chuỗi riêng lẻ chồng chéo với một thứ nguyên nhất định. Bằng cách này, bạn sẽ có thể thực hiện Regex của bạn trên các khối riêng lẻ, và sự chồng chéo sẽ cung cấp cho bạn khả năng để đảm bảo rằng một "break" trong các khối không phá vỡ các mẫu tìm kiếm. Trong một psuedo mã cách:

int chunkSize = 100000; 
int overLap = 2000; 

for(int i = 0; i < myCharArray.length; i += chunkSize - overlap) 
{ 
    // Grab your array chunk into a partial string 
    // By having your iteration slightly smaller than 
    // your chunk size you guarantee not to miss any 
    // character groupings. You just need to make sure 
    // your overlap is sufficient to cover the expression 
    string chunk = new String(myCharArray.Skip(i).Take(chunkSize).ToArray()); 
    // run your regex 
} 

Answer 2

Nếu bạn đang sử dụng .NET 4.0 hoặc cao hơn, những gì bạn nên sử dụng là một MemoryMappedFile. Lớp này được thiết kế độc quyền để bạn có thể thao tác các tệp rất lớn. Từ các tài liệu MSDN:

Một tập tin bộ nhớ ánh xạ bản đồ nội dung của một tập tin để địa chỉ logic không gian của một ứng dụng. Các tệp ánh xạ bộ nhớ cho phép các lập trình viên làm việc với các tệp cực lớn vì bộ nhớ có thể được quản lý đồng thời và cho phép truy cập ngẫu nhiên vào một tệp mà không cần tìm kiếm. Các tệp ánh xạ bộ nhớ cũng có thể được chia sẻ trên nhiều quy trình .

Khi bạn đã nhận được tệp ánh xạ bộ nhớ, hãy kiểm tra this Stack Overflow answer về cách áp dụng RegEx cho tệp ánh xạ bộ nhớ.

Hy vọng điều này sẽ hữu ích!

Answer 3

Một tùy chọn khá xấu xí là sử dụng thư viện RegEx không được quản lý (như thư viện biểu thức chính quy POSIX) và mã không an toàn. Bạn có thể có được một con trỏ byte * vào mảng char và truyền nó trực tiếp đến thư viện không được quản lý, sau đó sắp xếp lại các phản hồi.

fixed (byte * pArray = largeCharArray) 
{ 
    // call unmanaged code with pArray 
} 

Answer 4

Nếu bạn có một nhân vật hoặc mẫu mà bạn có thể tìm kiếm được bảo đảm không có trong mô hình bạn đang cố gắng để tìm kiếm, bạn có thể quét các mảng cho nhân vật đó và tạo ra chuỗi nhỏ hơn để xử lý cá nhân . Quá trình sẽ giống như sau:

char token = '|'; 
int start = 0; 
int length = 0; 
for(int i = 0; i < charArray.Length; i++;) 
{ 
    if(charArray[i] == token) 
    { 
     string split = new string(charArray,start,length); 
     // check the string using the regex 

     // reset the length 
     length = 0; 
    } 
    else 
    { 
     length++; 
    } 
} 

Bằng cách đó bạn sao chép các phân đoạn nhỏ hơn của chuỗi sẽ được GC sau mỗi lần thử so với toàn bộ chuỗi.