Tạo chỉ số trong các khung dữ liệu lớn

Question

Mục tiêu là tạo các chỉ báo cho biến số/chuỗi trong một khung dữ liệu. Đó là dataframe có> 2mm hàng, và chạy R trên windows, tôi không có tùy chọn sử dụng plyr với. Equivalent = T. Vì vậy, tôi đang dùng con đường "chia và chinh phục" với plyr và reshape2.

Chạy tan chảy và dàn diễn viên chạy ra khỏi bộ nhớ, và sử dụng

ddply(idata.frame(items) , c("ID") , function(x){ 
     ( colSums(model.matrix(~ x$element - 1)) > 0 ) 
} , .progress="text")  

hoặc

ddply(idata.frame(items) , c("ID") , function(x){ 
      ( elements %in% x$element ) 
    } , .progress="text") 

không mất một lúc. Cách tiếp cận nhanh nhất là lời gọi để nhấn mạnh bên dưới. Bạn có thấy một cách để tăng tốc độ này? Câu lệnh% in% chạy nhanh hơn lệnh gọi model.matrix. Cảm ơn.

set.seed(123) 

dd <- data.frame(
    id = sample(1:5, size=10 , replace=T) , 
    prd = letters[sample(1:5, size=10 , replace=T)] 
) 

prds <- unique(dd$prd) 

tapply(dd$prd , dd$id , function(x) prds %in% x) 

Answer 1

Đối với vấn đề này, các gói bigmemory và bigtabulate có thể làm quen với bạn. Dưới đây là một ví dụ hơi tham vọng hơn:

library(bigmemory) 
library(bigtabulate) 

set.seed(123) 

dd <- data.frame(
    id = sample(1:15, size=2e6 , replace=T), 
    prd = letters[sample(1:15, size=2e6 , replace=T)] 
) 

prds <- unique(dd$prd) 

benchmark(
bigtable(dd,c(1,2))>0, 
table(dd[,1],dd[,2])>0, 
xtabs(~id+prd,data=dd)>0, 
tapply(dd$prd , dd$id , function(x) prds %in% x) 
) 

Và kết quả điểm chuẩn (Tôi đang học hỏi những điều mới tất cả các thời gian):

          test replications elapsed relative user.self sys.self user.child sys.child 
1      bigtable(dd, c(1, 2)) > 0   100 54.401 1.000000 51.759 3.817   0   0 
2     table(dd[, 1], dd[, 2]) > 0   100 112.361 2.065422 107.526 6.614   0   0 
4 tapply(dd$prd, dd$id, function(x) prds %in% x)   100 178.308 3.277660 166.544 13.275   0   0 
3    xtabs(~id + prd, data = dd) > 0   100 229.435 4.217478 217.014 16.660   0   0 

Và đó cho thấy bigtable chiến thắng hiện bởi một số lượng đáng kể. Kết quả là khá nhiều mà tất cả các prds là trong tất cả các ID, nhưng xem ?bigtable để biết chi tiết về định dạng của các kết quả.

Answer 2

Việc bạn sử dụng chức năng %in% có vẻ ngược lại với tôi. Và nếu bạn muốn có kết quả đúng/sai cho mỗi hàng dữ liệu thì bạn nên sử dụng% trong% dưới dạng hoạt động vectơ hoặc ave. Mặc dù không cần thiết ở đây bạn có thể muốn sử dụng nó nếu có một hàm phức tạp hơn cần thiết để áp dụng cho mọi mục.

set.seed(123) 

dd <- data.frame(
    id = sample(1:5, size=10 , replace=T) , 
    prd = letters[sample(1:5, size=10 , replace=T)] 
) 

prds <- unique(dd$prd) 
target.prds <- prds[1:2] 
dd$prd.in.trgt <- with(dd, prd %in% target.prds) 

Answer 3

Bạn có thể nói thêm một chút về cách giải quyết vấn đề về số lượng, số ID, v.v. tính toán lại sẽ tiếp cận tất cả TRUE/all 1 ...)? Tôi mong rằng xtabs sẽ nhanh hơn, nhưng nó không phải cho một ví dụ về kích thước này ...

library(rbenchmark) 
benchmark(
      tapply(dd$prd , dd$id , function(x) prds %in% x), 
      xtabs(~id+prd,data=dd)>0) 

    test  replications elapsed relative 
1 tapply(...)    100 0.053 1.000000 
2 xtabs(...) > 0   100 0.120 2.264151