Tôi đang cố gắng song song (sử dụng snow::parLapply
) một số mã phụ thuộc vào gói (ví dụ: gói không phải là snow
). Các đối tượng được tham chiếu trong hàm được gọi là parLapply
phải được chuyển một cách rõ ràng đến cụm bằng cách sử dụng clusterExport
. Có cách nào để chuyển toàn bộ gói tới cụm thay vì phải đặt tên rõ ràng mọi chức năng (bao gồm chức năng nội bộ của gói được gọi bởi các hàm người dùng!) Trong clusterExport
?Chuyển toàn bộ gói đến cụm tuyết
5
A
Trả lời
6
Cài đặt gói trên tất cả các nút, và có cuộc gọi mã của bạn library(thePackageYouUse)
trên tất cả các nút thông qua một trong các lệnh có sẵn, một cái gì đó trứng như
clusterApply(cl, library(thePackageYouUse))
Tôi nghĩ rằng gói parallel
mà đi kèm với phiên bản R gần đây có các ví dụ - - xem ví dụ tại đây từ help(clusterApply)
trong đó gói boot
được tải ở mọi nơi:
## A bootstrapping example, which can be done in many ways:
clusterEvalQ(cl, {
## set up each worker. Could also use clusterExport()
library(boot)
cd4.rg <- function(data, mle) MASS::mvrnorm(nrow(data), mle$m, mle$v)
cd4.mle <- list(m = colMeans(cd4), v = var(cd4))
NULL
})
Các vấn đề liên quan
- 1. Singleton toàn cụm trong cụm Websphere
- 2. Khởi tạo Bộ KH & ĐT cluster với tuyết rơi R
- 3. gói Java vs C# cụm
- 4. Cách chuyển Gói từ Fragment đến Fragment
- 5. Di chuyển phần tử như vảy tuyết rơi
- 6. Sử dụng tuyết (và tuyết rơi) với AWS để xử lý song song trong R
- 7. "Lỗi trong unserialize" - foreach/doSNOW/tuyết với SOCK (windows)
- 8. Phạm vi vấn đề khi sfApply được sử dụng trong chức năng (gói tuyết rơi - R)
- 9. XNA - Mô phỏng tuyết
- 10. chuyển đổi toàn bộ byte [] vào uint
- 11. Trọn gói Python đến microtime
- 12. R và tuyết trên amazon EC2 sử dụng starcluster
- 13. Làm cách nào để nhập toàn bộ gói nhưng loại trừ một số gói trong Clojure?
- 14. Không thể chuyển đổi hoàn toàn loại 'int?' đến 'int'
- 15. Truyền toàn bộ tệp đến các đối số JVM
- 16. GetBoundingClientRect nhưng liên quan đến toàn bộ tài liệu
- 17. Cụm từ thông dụng để chọn một dòng toàn bộ chứa một lớp HTML
- 18. chuyển hướng đến nội dung không an toàn (http) từ an toàn (https)
- 19. Làm thế nào để nó tuyết trên Google, bằng cách gõ Cho nó tuyết
- 20. Máy phân tích tiêu chuẩn Lucene và quả cầu tuyết
- 21. Di chuyển toàn bộ từ chỉ với Java
- 22. Toàn bộ mảng không được chuyển qua trong C
- 23. Android: cách chuyển đổi toàn bộ ImageView thành bitmap?
- 24. Di chuyển toàn bộ phần tử bằng lxml.etree
- 25. Không thể xoay bông tuyết Koch
- 26. Eclipse - Cách "Thay đổi khai báo gói thành ...." trên toàn bộ dự án
- 27. thích quấn bên trong tiểu div trước khi gói toàn bộ div
- 28. @link đến một gói khác bên trong gói package-info.java
- 29. Cách di chuyển bộ xương kinect đến vị trí khác
- 30. Chuyển tiếp cổng máy chủ đến bộ chứa docker
Cảm ơn Dirk. Có bất kỳ lý do tại sao làm 'clusterExport (ls())' sẽ là nguy hiểm? Điều này sẽ không giúp chuyển các chức năng từ các gói nhưng nó sẽ tiết kiệm rất nhiều đau đầu để nhanh chóng song song cho các vòng lặp (một người nào đó elses, không phải của tôi!) Mà dựa vào một tấn các biến toàn cục. – Michael
Nó chỉ là thiết kế xấu trong đó nó sử dụng một scattershot cộng với phương pháp tiếp cận bồn rửa nhà bếp. Thiết kế những gì bạn cần trong một giải pháp nối tiếp, sau đó làm cho nó song song. –
Đủ công bằng, cảm ơn sự trợ giúp. – Michael