Bash: làm thế nào để chỉ đơn giản là song song nhiệm vụ?

Question

Tôi đang viết một tập lệnh nhỏ gọi là "PNGOUT" trên một vài trăm tệp PNG. Tôi chỉ cần làm điều này:

find $BASEDIR -iname "*png" -exec pngout {} \; 

Và sau đó tôi nhìn vào màn hình CPU của mình và nhận thấy chỉ một lõi được sử dụng, khá buồn.

Trong ngày và tuổi của lõi kép, quad, octo và hexa (?) Máy tính để bàn, làm thế nào để tôi chỉ đơn giản là song song nhiệm vụ này với Bash? (Đây không phải là lần đầu tiên tôi có nhu cầu như vậy, vì khá nhiều những cái utils này là mono-ren ... Tôi đã có trường hợp với bộ mã hóa mp3).

Chỉ cần chạy tất cả pngout trong nền hoạt động? Khi đó, của tôi sẽ tìm thấy lệnh như thế nào? (Tôi không chắc chắn cách trộn tìm và ký tự '&')

Tôi nếu có ba trăm ảnh, điều này có nghĩa là hoán đổi giữa ba trăm quy trình, điều này dường như không tuyệt vời sao !?

Hoặc tôi nên sao chép ba file hàng trăm tôi hoặc lâu hơn trong "nb dirs", nơi "nb dirs" sẽ được số lượng lõi, sau đó chạy đồng thời "nb thấy"? (sẽ đủ gần)

Nhưng làm cách nào để tôi thực hiện việc này?

Answer 1

Trả lời câu hỏi của riêng tôi ...Hóa ra đó là một tính năng khá vô danh của xargs lệnh có thể được sử dụng để thực hiện điều đó:

find . -iname "*png" -print0 | xargs -0 --max-procs=4 -n 1 pngout 

Bingo, ngay lập tức 4x tăng tốc trên một máy quad-lõi :)

Answer 2

Ghép đôi khi hiếm khi tầm thường. Trong trường hợp của bạn nếu bạn có thể chọn tệp duy nhất trong các tập hợp có kích thước bằng nhau, thì bạn có thể chạy nhiều bản sao của tập lệnh tìm. Bạn không muốn kích hoạt 300 bức ảnh trong nền. Đối với các công việc như thế này thường là chạy nhanh hơn theo tuần tự. Bối cảnh lệnh hoặc sử dụng hàng loạt là cả hai tùy chọn khả thi.

Giả sử các tệp được đánh số liên tiếp, bạn có thể sử dụng mẫu tìm kiếm như "[0-4] .png" cho một tìm kiếm và " [5-9] .png" trên một tệp khác. Điều này sẽ giữ hai lõi chạy trong khoảng thời gian tương đương.

Nhiệm vụ trồng trọt sẽ liên quan đến thiết lập bộ điều phối. Việc xây dựng, thử nghiệm và chạy ứng dụng này sẽ mất khá nhiều thời gian.

Bật BOINC để sử dụng các bộ xử lý dự phòng này. Bạn có thể sẽ muốn bỏ qua các quy trình niced khi giám sát tần số CPU. Thêm mã như thế này vào rc.local.

for CPU in /sys/devices/system/cpu/cpu[0-9]*; do 
    echo 1 > ${CPU}/cpufreq/ondemand/ignore_nice_load 
done 

Answer 3

để đẻ trứng tất cả các nhiệm vụ trong nền:

find $BASEDIR -iname "*png" | while read f; do 
    pngout "$f" & 
done 

nhưng tất nhiên đó không phải là lựa chọn tốt nhất. để thực hiện các tác vụ 'n' tại một thời điểm:

i=0 
find $BASEDIR -iname "*png" | while read f; do 
    pngout "$f" & 
    i=$((i+1)) 
    if [[ $i -gt $NTASKS ]]; then 
    wait 
    i=0 
    fi 
done 

không tối ưu, vì cho đến khi tất cả các tác vụ đồng thời được hoàn tất để bắt đầu một nhóm khác; nhưng nó nên tốt hơn là không có gì.