SunGridEngine, Condor, Torque với tư cách là người quản lý tài nguyên cho PVM

Question

Bất cứ ai có bất kỳ ý tưởng nào về Trình quản lý tài nguyên tốt cho PVM? Hoặc tôi không nên sử dụng PVM và thay vào đó dựa vào MPI (hoặc bất kỳ phiên bản nào của nó, chẳng hạn như MPICH-2 [có bất kỳ cái nào khác tốt hơn không?]). Lý do chính để sử dụng PVM là vì người trước tôi bắt đầu dự án này giả định sử dụng PVM. Tuy nhiên, bây giờ dự án này là của tôi (anh ấy không thực hiện bất kỳ công việc quan trọng nào dựa trên PVM), điều này có thể dễ dàng thay đổi, tốt nhất là cài đặt và thiết lập PVM là một rắc rối lớn.

Tôi đang hướng về phía SunGridEngine xem như cách tôi có phần cứng chuyên dụng, và sau khi đọc một bài đăng khác tốt hơn cho phần cứng chuyên dụng, SGE có vẻ là người chiến thắng. Tuy nhiên tôi không chắc chắn về hiệu suất của nó bằng cách sử dụng PVM. Bạn thắc mắc liệu có ai có kinh nghiệm với PVM và SGE không?

Nếu mọi người sử dụng SGE, điều gì làm bạn sử dụng để giao tiếp từ máy tính tới máy tính (hoặc máy ảo để máy ảo)

Oh và tôi sẽ chạy các ứng dụng Perl/dòng nếu những vấn đề này.

Bất kỳ đề xuất hoặc ý tưởng nào?

Cảm ơn trước cho tất cả các ý kiến,

• Tyug

Answer 1

tôi chạy PVM trên các hệ thống Linux sử dụng Torque, SGE và LSF mà không cần bất kỳ vấn đề. Bạn có hỏi "Có thể sử dụng SGE, mô-men xoắn, vv để chạy các ứng dụng PVM không?"?

Nếu có, hãy xem ví dụ về kịch bản lệnh c-shell Linux dưới đây của tôi. Lưu ý rằng các tập lệnh gần như giống hệt nhau, ngoại trừ tiêu đề của mỗi tập lệnh, phù hợp với định dạng phù hợp cho mỗi trình quản lý tài nguyên.

SGE công việc kịch bản:

#!/bin/csh 
#$ -N LTR-001 
#$ -o LTR-001.output 
#$ -e LTR-001.error 
#$ -pe comp 24 
#$ -l h_rt=04:00:00 
#$ -A cmit2 
#$ -cwd 
#$ -V 

# Setup envirnoment 
setenv LD_LIBRARY_PATH /lfs0/projects/cmit2/opt-intel/overture-noX/lib:${LD_LIBRARY_PATH} 
setenv PVM_ARCH LINUX 
setenv PVM_ROOT /lfs0/projects/cmit2/opt-intel/pvm3 
setenv PVM_BIN ${PVM_ROOT}/bin 
setenv PVM_RSH /usr/bin/ssh 
setenv MY_HOSTS pvm_hostfile 

rm -f ~/.pvmprofile 
env | grep PVM_ > ~/.pvmprofile 

# Create file containing _unique_ host names. Note that there are two possible sources of available hosts 
sort -k 1,1 -u ${MACHINE_FILE} >! ${MY_HOSTS} 

# Start PVM & add nodes 
printf "%s\n%s\n" conf quit|${PVM_ROOT}/lib/pvm ${MY_HOSTS} 
wait 
sleep 2 

# 
# Run apps requiring PVM. 
# 

wait 
# Exit PVM daemon 
echo "reset" | $PVM_ROOT/lib/pvm 
echo "halt" | $PVM_ROOT/lib/pvm 

Torque công việc kịch bản:

#!/bin/csh 
#PBS -N LTR-001 
#PBS -o LTR-001.output 
#PBS -e LTR-001.error 
#PBS -l nodes=3:ppn=8 
#PBS -l walltime=04:00:00 
#PBS -q compute 
#PBS -d . 

# Setup envirnoment 
setenv LD_LIBRARY_PATH /users/ps14/opt-intel/overture/lib:${LD_LIBRARY_PATH} 
setenv PVM_ARCH LINUX64 
setenv PVM_ROOT /users/ps14/opt-intel/pvm3 
setenv PVM_BIN ${PVM_ROOT}/bin 
setenv PVM_RSH ${PVM_ROOT}/ssh 
setenv MY_HOSTS pvm_hostfile 

rm -f ~/.pvmprofile 
env | grep PVM_ > ~/.pvmprofile 

# Create file containing _unique_ host names. Note that there are two possible sources of available hosts 
sort -k 1,1 -u ${PBS_NODEFILE} >! ${MY_HOSTS} 

# Start PVM & add nodes 
printf "%s\n%s\n" conf quit|${PVM_ROOT}/lib/pvm ${MY_HOSTS} 
wait 
sleep 2 

# 
# Run apps requiring PVM. 
# 

wait 
# Exit PVM daemon 
echo "reset" | $PVM_ROOT/lib/pvm 
echo "halt" | $PVM_ROOT/lib/pvm