slurm: sử dụng bất kỳ nút nào từ nodelist

Question

Tôi có một vài nghìn công việc để chạy trên một cụm slurm với 16 nút. Những công việc này chỉ nên chạy trên một tập hợp con của các nút có kích thước 7. Một số nhiệm vụ được song song, do đó sử dụng tất cả sức mạnh CPU của một nút trong khi một số khác là luồng đơn. Do đó, nhiều công việc nên chạy cùng một lúc trên một nút. Không có nhiệm vụ nào xuất hiện trên nhiều nút.

Hiện nay tôi gửi mỗi công việc với:

sbatch --nodelist=myCluster[10-16] myScript.sh 

Tuy nhiên tham số này làm cho slurm đợi cho đến khi công việc đệ trình chấm dứt, và do đó lá 3 nút hoàn toàn không sử dụng và tuỳ theo nhiệm vụ (đa hoặc đơn luồng), cũng là nút hiện đang hoạt động có thể chịu tải thấp về khả năng của CPU.

Các tham số tốt nhất của sbatch là lực đẩy slurm để chạy nhiều công việc cùng một lúc trên các nút được chỉ định?

Answer 1

Bạn có thể làm việc theo cách khác; chứ không phải là quy định cụ thể mà các nút sử dụng, với hiệu quả mà từng công việc được phân bổ tất cả 7 nút, xác định các nút không sử dụng:

sbatch --exclude=myCluster[01-09] myScript.sh 

và Slurm sẽ không bao giờ phân bổ hơn 7 nút để công việc của bạn. Đảm bảo rằng cấu hình cụm cho phép chia sẻ nút và myScript.sh của bạn chứa #SBATCH --ntasks=1 --cpu-per-task=n với số n số lượng chủ đề của mỗi công việc.

Answer 2

Một số tác vụ được song song, do đó sử dụng tất cả sức mạnh CPU của một nút trong khi những người khác là một luồng đơn.

Tôi hiểu rằng bạn muốn các công việc đơn luồng để chia sẻ một nút, trong khi các lệnh song song sẽ được chỉ định cho toàn bộ một nút?

nhiều công việc sẽ chạy cùng một lúc trên một nút.

Theo như sự hiểu biết của tôi về SLURM đi, điều này có nghĩa là bạn phải xác định lõi CPU như các nguồn lực tiêu hao (ví dụ, SelectType=select/cons_res và SelectTypeParameters=CR_Core trong slurm.conf)

Sau đó, để hạn chế việc song song để có được một nút toàn bạn có thể sử dụng tùy chọn --exclusive (nhưng lưu ý rằng cấu hình phân vùng được ưu tiên: bạn không thể có nút chia sẻ nếu phân vùng được định cấu hình để truy cập độc quyền) hoặc sử dụng -N 1 --tasks-per-node="number_of_cores_in_a_node" (ví dụ: -N 1 --ntasks-per-node=8).

Lưu ý rằng sau này sẽ chỉ hoạt động nếu tất cả các nút có cùng số lõi.

Không có tác vụ nào xuất hiện trên nhiều nút.

Điều này phải được đảm bảo bằng -N 1.

Answer 3

Thực ra, tôi nghĩ rằng cách để đi là thiết lập 'đặt trước' trước tiên. Theo bản trình bày này http://slurm.schedmd.com/slurm_ug_2011/Advanced_Usage_Tutorial.pdf (trang trình bày cuối cùng).

Tình huống: Đặt mười nút trong phân vùng SLURM mặc định bắt đầu vào buổi trưa và với thời lượng 60 phút diễn ra hàng ngày. Đặt phòng sẽ chỉ có sẵn cho người dùng alan và brenda.

scontrol create reservation user=alan,brenda starttime=noon duration=60 flags=daily nodecnt=10 
Reservation created: alan_6 

scontrol show res 
ReservationName=alan_6 StartTime=2009-02-05T12:00:00 
    EndTime=2009-02-05T13:00:00 Duration=60 Nodes=sun[000-003,007,010-013,017] NodeCnt=10 Features=(null) PartitionName=pdebug Flags=DAILY Licenses=(null) 
    Users=alan,brenda Accounts=(null) 

# submit job with: 
sbatch --reservation=alan_6 myScript.sh 

Rất tiếc, tôi không thể kiểm tra quy trình này, do thiếu đặc quyền.