Vượt quá giới hạn bộ nhớ trong R (thậm chí với RAM 24GB)

Question

Tôi đang cố gắng hợp nhất hai khung dữ liệu: một khung có 908450 quan sát 33 biến, và biến còn lại có 908450 quan sát 2 biến.

dataframe2 <-merge(dataframe1, dataframe2, by="id") 

Tôi đã xóa tất cả dataframes khác từ bộ nhớ làm việc, và đặt lại giới hạn bộ nhớ của tôi (cho một thương hiệu máy tính để bàn mới với 24 GB RAM) sử dụng mã:

memory.limit(24576) 

Nhưng, tôi m vẫn gặp lỗi Cannot allocate vector of size 173.Mb.

Bất kỳ suy nghĩ nào về cách giải quyết vấn đề này?

Answer 1

Để theo dõi ý kiến ​​của tôi, sử dụng data.table. Tôi kết hợp một ví dụ nhanh phù hợp với dữ liệu của bạn để minh họa:

library(data.table) 

dt1 <- data.table(id = 1:908450, matrix(rnorm(908450*32), ncol = 32)) 
dt2 <- data.table(id = 1:908450, rnorm(908450)) 
#set keys 
setkey(dt1, id) 
setkey(dt2, id) 
#check dims 
> dim(dt1) 
[1] 908450  33 
> dim(dt2) 
[1] 908450  2 
#merge together and check system time: 
> system.time(dt3 <- dt1[dt2]) 
    user system elapsed 
    0.43 0.03 0.47 

Vì vậy, phải mất chưa đầy 1/2 giây để hợp nhất với nhau. Tôi chụp ảnh trước và sau khi xem bộ nhớ của mình. Trước khi hợp nhất, tôi đã sử dụng 3,4 hợp đồng biểu diễn ram. Khi tôi sáp nhập với nhau, nó đã tăng lên 3,7 và giảm dần. Tôi nghĩ rằng bạn sẽ khó ép để tìm một cái gì đó nhiều bộ nhớ hơn hoặc thời gian hiệu quả hơn thế.

Trước:

Sau:

Answer 2

Theo như tôi có thể nghĩ đến có ba giải pháp:

• Sử dụng datatables
• Sử dụng bộ nhớ swap (có thể điều chỉnh được trên máy * nix)
• Sử dụng mẫu