Cách tốt nhất để đọc một tệp lớn thành một mảng byte trong C#?

Question

Tôi có một máy chủ web sẽ đọc các tệp nhị phân lớn (vài megabyte) vào các mảng byte. Các máy chủ có thể được đọc một số tập tin cùng một lúc (yêu cầu trang khác nhau), vì vậy tôi đang tìm cách tối ưu nhất để làm điều này mà không cần đánh thuế CPU quá nhiều. Mã dưới đây có đủ tốt không?

public byte[] FileToByteArray(string fileName) 
{ 
    byte[] buff = null; 
    FileStream fs = new FileStream(fileName, 
            FileMode.Open, 
            FileAccess.Read); 
    BinaryReader br = new BinaryReader(fs); 
    long numBytes = new FileInfo(fileName).Length; 
    buff = br.ReadBytes((int) numBytes); 
    return buff; 
} 

Answer 1

Chỉ cần thay thế toàn bộ điều với:

return File.ReadAllBytes(fileName); 

Tuy nhiên, nếu bạn lo lắng về việc tiêu thụ bộ nhớ, bạn nên không đọc toàn bộ tập tin vào bộ nhớ cùng một lúc ở tất cả. Bạn nên làm điều đó theo từng phần.

Answer 2

tôi sẽ nghĩ rằng đây:

byte[] file = System.IO.File.ReadAllBytes(fileName); 

Answer 3

Mã của bạn có thể là yếu tố này (thay cho File.ReadAllBytes):

public byte[] ReadAllBytes(string fileName) 
{ 
    byte[] buffer = null; 
    using (FileStream fs = new FileStream(fileName, FileMode.Open, FileAccess.Read)) 
    { 
     buffer = new byte[fs.Length]; 
     fs.Read(buffer, 0, (int)fs.Length); 
    } 
    return buffer; 
} 

Lưu ý Integer.MaxValue - kích thước giới hạn tập tin đặt bởi phương pháp đọc. Nói cách khác, bạn chỉ có thể đọc một đoạn 2GB cùng một lúc.

Cũng lưu ý rằng đối số cuối cùng cho FileStream là kích thước bộ đệm.

Tôi cũng khuyên bạn nên đọc khoảng FileStream và BufferedStream.

Như mọi khi, một chương trình mẫu đơn giản cho tiểu sử nhanh nhất sẽ có lợi nhất.

Phần cứng cơ bản của bạn sẽ có ảnh hưởng lớn đến hiệu suất. Bạn có đang sử dụng ổ đĩa cứng dựa trên máy chủ có bộ nhớ cache lớn và thẻ RAID có bộ nhớ cache trên bo mạch không? Hay bạn đang sử dụng ổ đĩa tiêu chuẩn được kết nối với cổng IDE?

Answer 4

Sử dụng lớp BufferedStream trong C# để cải thiện hiệu suất. Bộ đệm là một khối byte trong bộ nhớ được sử dụng để lưu trữ dữ liệu, do đó giảm số lượng cuộc gọi đến hệ điều hành. Bộ đệm cải thiện hiệu năng đọc và ghi.

Xem sau đây cho một ví dụ mã và giải thích thêm: http://msdn.microsoft.com/en-us/library/system.io.bufferedstream.aspx

Answer 5

tôi có thể tranh luận rằng câu trả lời ở đây thường là "không". Trừ khi bạn hoàn toàn cần tất cả dữ liệu cùng một lúc, hãy xem xét sử dụng API Stream-based (hoặc một số biến thể của trình đọc/trình lặp). Đó là đặc biệt là quan trọng khi bạn có nhiều thao tác song song (như được đề xuất bởi câu hỏi) để giảm thiểu tải hệ thống và tối đa hóa thông lượng.

Ví dụ, nếu bạn đang trực tuyến dữ liệu đến một người gọi:

Stream dest = ... 
using(Stream source = File.OpenRead(path)) { 
    byte[] buffer = new byte[2048]; 
    int bytesRead; 
    while((bytesRead = source.Read(buffer, 0, buffer.Length)) > 0) { 
     dest.Write(buffer, 0, bytesRead); 
    } 
} 

Answer 6

Tùy thuộc vào tần số hoạt động, kích thước của các tập tin, và số lượng các tập tin mà bạn đang xem, có khác các vấn đề hiệu suất cần xem xét. Một điều cần nhớ, là mỗi mảng byte của bạn sẽ được phát hành tại lòng thương xót của bộ thu gom rác. Nếu bạn không lưu trữ bất kỳ dữ liệu nào trong số đó, bạn có thể sẽ tạo ra nhiều rác và mất hầu hết hiệu suất của mình thành % Time in GC.Nếu các khối lớn hơn 85K, bạn sẽ được cấp phát cho Heap đối tượng lớn (LOH), nó sẽ yêu cầu một bộ sưu tập của tất cả các thế hệ để giải phóng (điều này là rất tốn kém, và trên một máy chủ sẽ ngừng tất cả thực hiện trong khi nó đang xảy ra). Ngoài ra, nếu bạn có một tấn đối tượng trên LOH, bạn có thể kết thúc với phân mảnh LOH (LOH không bao giờ được nén) dẫn đến hiệu suất kém và không có ngoại lệ bộ nhớ. Bạn có thể tái chế quy trình khi bạn đạt đến một điểm nhất định, nhưng tôi không biết đó có phải là phương pháp hay nhất hay không.

Vấn đề là, bạn nên cân nhắc toàn bộ vòng đời của ứng dụng trước khi đọc tất cả các byte vào bộ nhớ một cách nhanh nhất có thể hoặc bạn có thể giao dịch ngắn hạn cho hiệu suất tổng thể.

Answer 7

Tôi khuyên bạn nên thử phương pháp Response.TransferFile() sau đó là Response.Flush() và Response.End() để phân phát các tệp lớn của bạn.

Answer 8

Nếu bạn đang xử lý các tệp ở trên 2   GB, bạn sẽ thấy rằng các phương thức trên không thành công.

Đó là dễ dàng hơn nhiều chỉ để trao suối tắt để MD5 và cho phép điều đó để đoạn tập tin của bạn dành cho bạn:

private byte[] computeFileHash(string filename) 
{ 
    MD5 md5 = MD5.Create(); 
    using (FileStream fs = new FileStream(filename, FileMode.Open)) 
    { 
     byte[] hash = md5.ComputeHash(fs); 
     return hash; 
    } 
} 

Answer 9

Tôi muốn nói BinaryReader là tốt, nhưng có thể được refactored vào đó, thay vì tất cả những dòng mã để nhận được chiều dài của bộ đệm:

public byte[] FileToByteArray(string fileName) 
{ 
    byte[] fileData = null; 

    using (FileStream fs = File.OpenRead(fileName)) 
    { 
     using (BinaryReader binaryReader = new BinaryReader(fs)) 
     { 
      fileData = binaryReader.ReadBytes((int)fs.Length); 
     } 
    } 
    return fileData; 
} 

nên được tốt hơn so với sử dụng .ReadAllBytes(), kể từ khi tôi nhìn thấy trong các ý kiến ​​về phản ứng đầu bao gồm .ReadAllBytes() rằng một trong những bình luận có proble ms với các tập tin> 600 MB, vì một BinaryReader có nghĩa là cho loại điều này. Ngoài ra, đặt nó trong tuyên bố using đảm bảo rằng FileStream và BinaryReader bị đóng và xử lý.