Cách nhanh nhất để di chuyển 90 triệu tệp (270GB) giữa hai thư mục NFS 1Gb/s

Question

Tôi cần di chuyển 90 triệu tệp từ thư mục NFS vào thư mục NFS thứ hai, cả hai kết nối tới thư mục NFS đang sử dụng cùng eth0, đó là 1Gb/s cho các máy chủ NFS, không cần đồng bộ, chỉ di chuyển (ghi đè nếu nó tồn tại). Tôi nghĩ vấn đề chính của tôi là số lượng tệp, không phải là tổng kích thước. Cách tốt nhất nên là cách với các cuộc gọi hệ thống ít hơn cho mỗi tập tin vào thư mục NFS.

Tôi đã thử cp, rsync và cuối cùng làparsync trước hết mất 10 giờ để tạo 12 GB gzip của danh sách tệp, sau 40 giờ và không có tệp nào được sao chép, nó hoạt động đến 10 chủ đề cho đến khi tôi hủy và bắt đầu gỡ lỗi, tôi thấy nó đang làm một cuộc gọi (stat?) một lần nữa để mỗi tập tin (từ danh sách) với các tùy chọn -vvv (nó sử dụng rsync):

[sender] make_file(accounts/hostingfacil/snap.2017-01-07.041721/hostingfacil/homedir/public_html/members/vendor/composer/62ebc48e/vendor/whmcs/whmcs-foundation/lib/Domains/DomainLookup/Provider.php,*,0)* 

lệnh parsync là:

time parsync --rsyncopts="-v -v -v" --reusecache --NP=10 --startdir=/nfsbackup/folder1/subfolder2 thefolder /nfsbackup2/folder1/subfolder2 

Mỗi rsync có dạng này:

rsync --bwlimit=1000000 -v -v -v -a --files-from=/root/.parsync/kds-chunk-9 /nfsbackup/folder1/subfolder2 /nfsbackup2/folder1/subfolder2 

Các thư mục NFS được gắn:

server:/export/folder/folder /nfsbackup2 nfs  auto,noexec,noatime,nolock,bg,intr,tcp,actimeo=1800,nfsvers=3,vers=3 0 0 

Bất kỳ ý tưởng làm thế nào để chỉ thị cho rsync để sao chép các tập tin đã có trong danh sách từ nfs vào thư mục nfs2? Hoặc bất kỳ cách nào để làm cho bản sao này hiệu quả (một cuộc gọi hệ thống cho mỗi tệp?)

Answer 1

Tôi đã gặp vấn đề giống nhau một lần và tôi thấy rằng tốt nhất là chỉ cần chạy lệnh tìm và di chuyển từng tệp riêng lẻ.

cd /origin/path 
find . | cpio -updm ../destination/ 

lệnh -u sẽ ghi đè lên các tập tin hiện có