Thực hiện xử lý song song trong bash?

Question

Tôi đã có hàng ngàn tệp png mà tôi muốn làm nhỏ hơn với pngcrush. Tôi có một công việc đơn giản find .. -exec, nhưng nó là tuần tự. Máy của tôi có khá nhiều tài nguyên và tôi sẽ làm điều này song song.

Các hoạt động được thực hiện trên mỗi png là:

pngcrush input output && mv output input 

Lý tưởng nhất là tôi có thể xác định số lượng tối đa các hoạt động song song.

Có cách nào để làm điều này với bash và/hoặc người giúp đỡ vỏ khác không? Tôi là Ubuntu hoặc Debian.

Answer 1

Bạn có thể sử dụng xargs để chạy nhiều quy trình song song:

find /path -print0 | xargs -0 -n 1 -P <nr_procs> sh -c 'pngcrush $1 temp.$$ && mv temp.$$ $1' sh 

xargs sẽ đọc danh sách các tập tin được tạo ra bởi find (phân cách bằng 0 ký tự (-0)) và chạy lệnh cung cấp (sh -c '...' sh) với một thông số tại một thời điểm (-n 1). xargs sẽ chạy song song <nr_procs> (-P <nr_procs>).

Answer 2

Bạn có thể sử dụng tùy chỉnh find/xargs giải pháp (xem Bart Sas' câu trả lời), nhưng khi mọi thứ trở nên phức tạp hơn bạn có -Tại least- hai lựa chọn mạnh mẽ:

1. parallel (từ gói moreutils)
2. GNU parallel

Answer 3

Với GNU Parallel http://www.gnu.org/software/parallel/ nó có thể được thực hiện như:

find /path -print0 | parallel -0 pngcrush {} {.}.temp '&&' mv {.}.temp {} 

Tìm hiểu thêm:

• Xem video giới thiệu cho một giới thiệu vắn tắt: https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1
• Walk thông qua các hướng dẫn (man parallel_tutorial). Bạn dòng lệnh sẽ yêu bạn vì nó.