Cách hiệu quả nhất để đọc tệp lớn theo khối

Question

Cách thức mục đích chung hiệu quả nhất để đọc các tệp "lớn" (có thể là văn bản hoặc nhị phân), mà không đi vào lãnh thổ unsafe? Tôi đã ngạc nhiên khi có ít kết quả có liên quan khi tôi tìm kiếm trên web về "gỉ đọc tệp lớn trong các đoạn". Ví dụ: một trong các trường hợp sử dụng của tôi là tính toán tổng kiểm tra MD5 cho tệp bằng cách sử dụng rust-crypto (mô-đun Md5 cho phép bạn thêm &[u8] khối lặp lại).

Đây là những gì tôi có, mà dường như để thực hiện tốt hơn một chút so với một số phương pháp khác như read_to_end:

const CAP: usize = 1024 * 128; 
let mut file = try!(File::open("my.file")); 
let mut reader = BufReader::with_capacity(CAP, file); 

loop { 
    let length = { 
     let buffer = try!(reader.fill_buf()); 
     // do stuff with buffer here 
     buffer.len() 
    }; 
    if length == 0 { break; } 
    reader.consume(length); 
} 

Answer 1

Tôi không nghĩ rằng bạn có thể viết mã hiệu quả hơn đó. fill_buf trên số BufReader trên một số File về cơ bản chỉ là một cuộc gọi thẳng tới read(2). Xem https://github.com/rust-lang/rust/blob/e1195c24bb567019d7cdc65bf5a4c642e38475d1/src/libstd/io/buffered.rs#L185.

Điều đó nói rằng, BufReader không thực sự là một trừu tượng hữu ích khi bạn sử dụng nó như thế; có lẽ sẽ ít khó xử khi gọi trực tiếp số file.read(&mut buf).