Hiệu suất sao chép tệp bằng fread/fwrite sang USB

Question

Tôi đang ở phía trước một đoạn mã sao chép tệp vào thiết bị usb. phần sau là quan trọng nhất:

while((bytesRead = fread(buf, 1, 16*1024, m_hSource)) && !bAbort) { 
    // write to target 
    long bytesWritten = fwrite(buf, 1, bytesRead, m_hTarget); 

    m_lBytesCopied += bytesWritten; 

Điều, khách hàng nói, nó khá chậm so với pc < bình thường -> tốc độ usb. Tôi đã không viết mã này, vì vậy đó là công việc của tôi, để tối ưu hóa.

Vì vậy, tôi đã tự hỏi, nếu đó là một cách tiếp cận tốt hơn để lần đầu tiên đọc các tập tin hoàn chỉnh và sau đó viết các tập tin trong một bước. Nhưng tôi không biết làm thế nào dễ bị lỗi này. Mã cũng kiểm tra sau mỗi copystep nếu tất cả các byte được viết chính xác, do đó cũng có thể làm chậm quá trình.

Tôi không phải là C++ & chuyên gia phần cứng, vì vậy tôi hỏi các bạn, cách tôi có thể tăng tốc mọi thứ và giữ sao chép thành công.

Answer 1

1. Hãy thử để đọc/ghi trong đoạn lớn. 16M, 32M không tệ cho việc sao chép tệp.
2. Nếu bạn chỉ muốn sao chép tệp, bạn luôn có thể gọi system() Nó sẽ nhanh hơn.

3. Mã cũng kiểm tra sau mỗi copystep nếu tất cả các byte được viết chính xác để có thể làm chậm quá trình.

   Bạn có thể kiểm tra bằng cách tạo băm của đoạn lớn hơn. Giống như tách tệp thành các khối 64M. Sau đó, kết hợp băm của những khối. Giao thức Bittorrent có tính năng này.

4. Nếu bạn có mmap hoặc MapViewOfFile có sẵn, hãy ánh xạ tệp trước. Sau đó ghi nó vào usb. Bằng cách này, thao tác đọc sẽ được xử lý bằng hạt nhân.

5. Kerrek vừa nhận xét về việc sử dụng memcpy trên mmap. memcpy với 2 mmap tệp ed có vẻ tuyệt vời.

Cũng lưu ý rằng, Hệ điều hành gần đây nhất ghi vào thẻ USB khi chúng bị xóa. Trước khi xóa, nó chỉ ghi dữ liệu vào bộ đệm. Vì vậy, sao chép từ hệ điều hành có thể xuất hiện nhanh hơn.

Answer 2

Điều gì về việc đọc và ghi chồng chéo?

Trong mã hiện tại, tổng thời gian là time(read original) + time(write copy), nếu bạn đọc khối đầu tiên, sau đó viết nó bắt đầu đọc khối thứ hai, vv tổng thời gian của bạn sẽ là max(time(read original), time(write copy)) (cộng với thời gian đọc/ghi đầu tiên và khối cuối cùng sẽ không được pipelined).

Có thể gần một nửa thời gian nếu việc đọc và viết mất nhiều hơn hoặc ít hơn cùng một lúc.

Bạn có thể làm điều đó với hai luồng hoặc với IO không đồng bộ. Thật không may, chủ đề và async IO là nền tảng phụ thuộc, vì vậy bạn sẽ phải kiểm tra hệ thống của bạn bằng tay hoặc chọn thư viện di động thích hợp.

Answer 3

Tôi sẽ chỉ đi với một số chức năng cụ thể của hệ điều hành để chắc chắn làm điều này nhanh hơn mà bất cứ điều gì chỉ được viết bằng các hàm c/C++.

Đối với Linux, đây có thể là chức năng sendfile. Đối với Windows CopyFile sẽ thực hiện công việc.