doParallel lỗi trong R: Lỗi trong serialize (dữ liệu, nút $ con): lỗi bằng văn bản để kết nối

Question

Đây là mã của tôi. Nội dung bên trong vòng lặp có ý nghĩa.

 library(foreach) 
     library(doParallel) 
     cl <- makeCluster(7) 
     registerDoParallel(cl) 

     elasticitylist = foreach(i=1:nhousehold) %dopar% { 

      pricedraws = out$betadraw[i,12,] 
      elasticitydraws[,,i]= probarray[,,i] %*% diag(pricedraws) 
      elasticitydraws[,,i] = elasticitydraws[,,i] * as.vector(medianpricemat) 

     } 

tôi tiếp tục nhận được lỗi này:

Error in serialize(data, node$con) : error writing to connection 

Tôi biết tôi có đủ lõi (có 20). Bất cứ ai có thể giúp đỡ với điều này? Có vẻ như câu trả lời là hư không được tìm thấy trong tài liệu!

Khi tôi chạy ps -ef| grep user trên máy chủ Unix của tôi, tôi nhận được:

/apps/R.3.1.2/lib64/R/bin/exec/R --slave --no-restore -e parallel:::.slaveRSOCK() --args MASTER=localhost PORT=11025 OUT=/dev/null TIMEOUT=2592000 METHODS=TRUE XDR=TRUE 

Answer 1

Các chức năng serialize và unserialize được gọi là bởi quá trình tổng thể để giao tiếp với người lao động khi sử dụng một cụm socket. Nếu bạn gặp lỗi từ một trong các hàm đó, điều đó thường có nghĩa là ít nhất một trong số các nhân viên đã chết. Trên một máy Linux, nó có thể đã chết vì máy gần hết bộ nhớ, vì vậy kẻ giết người đã quyết định giết nó, nhưng có nhiều khả năng khác.

Tôi khuyên bạn nên sử dụng tùy chọn makeCluster outfile="" khi tạo đối tượng cụm sao cho đầu ra từ công nhân được hiển thị. Nếu bạn may mắn, bạn sẽ nhận được một thông báo lỗi từ một nhân viên trước khi nó chết sẽ giúp bạn giải quyết vấn đề.

Answer 2

Tôi gặp vấn đề tương tự, khi tôi cố gắng sử dụng tất cả 8 lõi máy của mình. Khi tôi để lại một mở, sau đó vấn đề đã biến mất. Tôi tin rằng hệ thống yêu cầu 1 lõi cho các nhiệm vụ dịch vụ còn mở, nếu không bạn sẽ gặp lỗi:

library(doParallel) 
#Find out how many cores are available (if you don't already know) 
cores<-detectCores() 
#Create cluster with desired number of cores, leave one open for the machine   
#core processes 
cl <- makeCluster(cores[1]-1) 
#Register cluster 
registerDoParallel(cl)