Sử dụng plyr, doMC và tóm tắt() với tập dữ liệu rất lớn?

Question

Tôi có một tập dữ liệu khá lớn (~ 1.4m hàng) mà tôi đang làm một số tách và tóm tắt. Toàn bộ điều mất một thời gian để chạy, và ứng dụng cuối cùng của tôi phụ thuộc vào thường xuyên chạy, vì vậy suy nghĩ của tôi là sử dụng doMC và .parallel=TRUE cờ với plyr như vậy (giản một chút):

library(plyr) 
require(doMC) 
registerDoMC() 

df <- ddply(df, c("cat1", "cat2"), summarize, count=length(cat2), .parallel = TRUE) 

Nếu tôi đặt số lõi rõ ràng là hai (sử dụng registerDoMC(cores=2)) 8 GB RAM của tôi nhìn thấy tôi thông qua, và nó cạo một khoảng thời gian khá. Tuy nhiên, nếu tôi để cho nó sử dụng tất cả 8 lõi, tôi nhanh chóng hết bộ nhớ do thực tế là mỗi quá trình được chia hai lần xuất hiện sao chép toàn bộ tập dữ liệu trong bộ nhớ.

Câu hỏi của tôi là liệu có thể sử dụng các cơ sở thực thi song song của plyr theo cách tiết kiệm bộ nhớ hơn không? Tôi đã cố gắng chuyển đổi dataframe của tôi đến một big.matrix, nhưng điều này chỉ đơn giản là dường như để buộc toàn bộ điều trở lại sử dụng một lõi duy nhất:

library(plyr) 
library(doMC) 
registerDoMC() 
library(bigmemory) 

bm <- as.big.matrix(df) 
df <- mdply(bm, c("cat1", "cat2"), summarize, count=length(cat2), .parallel = TRUE) 

Đây là bước đột phá đầu tiên của tôi vào máy tính đa lõi R, vì vậy nếu có một cách tốt hơn suy nghĩ về điều này, tôi mở để gợi ý.

CẬP NHẬT: Như với nhiều thứ trong cuộc sống, hóa ra tôi đang làm những điều ngu ngốc khác ở đâu đó trong mã của tôi, và toàn bộ vấn đề xử lý đa điểm trở thành điểm tranh luận trong trường hợp cụ thể này. Tuy nhiên, đối với các tác vụ gấp dữ liệu lớn, tôi sẽ ghi nhớ data.table. Tôi đã có thể tái tạo tác vụ gấp của mình một cách đơn giản.

Answer 1

Tôi không nghĩ rằng plyr tạo bản sao của toàn bộ tập dữ liệu. Tuy nhiên, khi xử lý một đoạn dữ liệu, tập hợp con đó sẽ được sao chép vào công nhân. Do đó, khi sử dụng nhiều công nhân hơn, nhiều tập con hơn trong bộ nhớ đồng thời (tức là 8 thay vì 2).

tôi có thể nghĩ ra một vài lời khuyên bạn có thể thử:

• Đặt dữ liệu của bạn vào một cấu trúc mảng trong thay vì một data.frame và sử dụng adply để làm tổng kết. mảng hiệu quả hơn nhiều về mặt sử dụng và tốc độ bộ nhớ. Tôi có nghĩa là sử dụng ma trận bình thường, không phải big.matrix.
• Hãy thử data.table một lần thử, trong một số trường hợp, điều này có thể dẫn đến tăng tốc độ nhiều đơn vị độ lớn. Tôi không chắc chắn nếu data.table hỗ trợ xử lý song song, nhưng ngay cả khi không song song, data.table có thể là hunderds của thời gian nhanh hơn. Xem số blog post of mine so sánh ave, ddply và data.table để xử lý khối dữ liệu.