đèo đối số dòng lệnh qua sbatch

Question

Giả sử rằng tôi có kịch bản bash đơn giản sau đây mà tôi muốn gửi đến một máy chủ batch qua SLURM:

#!/bin/bash 

#SBATCH -o "outFile"$1".txt" 
#SBATCH -e "errFile"$1".txt" 

hostname 

exit 0 

Trong kịch bản này, tôi chỉ đơn giản muốn viết đầu ra của hostname trên một textfile có tên đầy đủ để kiểm soát thông qua các dòng lệnh, như vậy:

login-2:jobs$ sbatch -D `pwd` exampleJob.sh 1 
Submitted batch job 203775 

Thật không may, có vẻ như dòng lệnh cuối cùng lập luận của tôi (1) không được phân tích cú pháp thông qua sbatch, kể từ khi các tập tin được tạo ra không có hậu tố mà tôi đang tìm kiếm và chuỗi "$ 1" là int erpreted nghĩa đen:

login-2:jobs$ ls 
errFile$1.txt exampleJob.sh outFile$1.txt 

Tôi đã nhìn xung quanh nơi ở SO và elsewhere, nhưng tôi đã không có bất kỳ may mắn. Về cơ bản những gì tôi đang tìm kiếm là tương đương với công tắc -v của tiện ích qsub trong các cụm hỗ trợ Torque.

Chỉnh sửa: Như đã đề cập trong chuỗi nhận xét cơ bản, tôi đã giải quyết vấn đề của mình một cách khó khăn: thay vì có một tập lệnh đơn lẻ sẽ được gửi nhiều lần đến máy chủ bó. một "tập lệnh chính" chỉ đơn giản là lặp lại và chuyển hướng cùng một nội dung lên các kịch bản lệnh khác nhau, nội dung của từng được thay đổi bởi tham số dòng lệnh được truyền. Sau đó, tôi đã gửi tất cả những người đó đến máy chủ theo lô của mình thông qua sbatch. Tuy nhiên, điều này không trả lời câu hỏi ban đầu, vì vậy tôi ngần ngại thêm nó như là một câu trả lời cho câu hỏi của tôi hoặc đánh dấu câu hỏi này được giải quyết.

Answer 1

Các dòng bắt đầu bằng #SBATCH không được giải thích bằng bash nhưng được thay thế bằng mã bằng sbatch. Tùy chọn sbatch không hỗ trợ $ 1 vars (chỉ% j và một số khác, thay thế $ 1 bởi% 1 sẽ không hoạt động). Khi bạn không có các quy trình sbatch khác nhau chạy song song, bạn có thể thử

#!/bin/bash 

touch outFile${1}.txt errFile${1}.txt 
rm link_out.sbatch link_err.sbatch 2>/dev/null # remove links from previous runs 
ln -s outFile${1}.txt link_out.sbatch 
ln -s errFile${1}.txt link_err.sbatch 

#SBATCH -o link_out.sbatch 
#SBATCH -e link_err.sbatch 

hostname 
# I do not know about the background processing of sbatch, are the jobs still running 
# at this point? When they are, you can not delete the temporary symlinks yet. 

exit 0 

Alternative: Như bạn nói trong một bình luận chính mình, bạn có thể làm cho một masterscript. Kịch bản này có thể chứa các dòng như

cat exampleJob.sh.template | sed -e 's/File.txt/File'$1'.txt/' > exampleJob.sh 
# I do not know, is the following needed with sbatch? 
chmod +x exampleJob.sh 

Trong mẫu của mình theo dòng #SBATCH trông giống như

#SBATCH -o "outFile.txt" 
#SBATCH -e "errFile.txt" 

Answer 2

tôi nghĩ rằng tôi muốn cung cấp một số cái nhìn sâu sắc vì tôi cũng đang tìm kiếm sự thay thế để lựa chọn -v trong qsub, cho sbatch có thể được thực hiện bằng cách sử dụng tùy chọn --export. Tôi đã tìm thấy một số nice site here hiển thị danh sách các chuyển đổi từ Torque đến Slurm và việc chuyển đổi nhiều hơn mượt mà hơn. Tôi chưa xác minh rằng điều này cụ thể hoạt động được nêu ra, nhưng tôi sẽ cập nhật câu trả lời cho phù hợp nếu nó cần phải được thay đổi.

Bạn có thể chỉ định các biến môi trường trước thời hạn trong kịch bản bash của bạn:

$ var_name='1' 
$ sbatch -D `pwd` exampleJob.sh --export=var_name 

Hoặc định nghĩa nó trực tiếp trong lệnh sbatch giống như qsub phép:

$ sbatch -D `pwd` exampleJob.sh --export=var_name='1' 

Cho dù điều này làm việc trong # bộ tiền xử lý của exampleJob.sh cũng là một câu hỏi khác, nhưng tôi giả định rằng nó sẽ cung cấp cho cùng một chức năng tìm thấy trong mô-men xoắn.

Answer 3

Something như thế này làm việc cho tôi và Torque

echo "$(pwd)/slurm.qsub 1" | qsub -S /bin/bash -N Slurm-TEST 
slurm.qsub: 

#!/bin/bash 
hostname > outFile${1}.txt 2>errFile${1}.txt 
exit 0 

Answer 4

Nếu bạn vượt qua các lệnh của bạn thông qua dòng lệnh, bạn thực sự có thể bỏ qua các vấn đề không thể vượt qua đối số dòng lệnh trong tập lệnh batch. Ví dụ: tại dòng lệnh:

var1="my_error_file.txt" 
var2="my_output_file.txt" 
sbatch --error=$var1 --output=$var2 batch_script.sh 

Answer 5

Sử dụng trình bao bọc thuận tiện hơn. Tôi đã tìm thấy giải pháp này từ this thread.

Về cơ bản vấn đề là các chỉ thị SBATCH được xem là chú thích của trình bao và do đó bạn không thể sử dụng các đối số được truyền trong chúng. Thay vào đó, bạn có thể sử dụng tài liệu ở đây để nạp vào tập lệnh bash của bạn sau khi các đối số được đặt tương ứng.

Trong trường hợp của câu hỏi của bạn, bạn có thể thay thế các tập tin shell script với điều này:

#!/bin/bash 
sbatch <<EOT 
#!/bin/bash 

#SBATCH -o "outFile"$1".txt" 
#SBATCH -e "errFile"$1".txt" 

hostname 

exit 0 
EOT 

Và bạn chạy shell script như thế này:

bash [script_name].sh [suffix] 

Và kết quả đầu ra sẽ được lưu vào outfile [hậu tố] .txt và errFile [hậu tố] .txt