quản lý bộ nhớ hiệu quả trong R

Question

Tôi có bộ nhớ 6 GB trong máy tính của tôi (Windows 7 Pro 64 bit) và tại R, tôi nhận được

> memory.limit() 
6141 

Tất nhiên, khi giao dịch với dữ liệu lớn, lỗi cấp phát bộ nhớ xảy ra. Vì vậy, để làm cho R để sử dụng bộ nhớ ảo, tôi sử dụng

> memory.limit(50000) 

Bây giờ, khi chạy kịch bản của tôi, tôi không có lỗi cấp phát bộ nhớ nữa, nhưng heo R tất cả các bộ nhớ trong máy tính của tôi vì vậy tôi có thể không sử dụng máy cho đến khi tập lệnh hoàn tất. Tôi tự hỏi nếu có một cách tốt hơn để làm cho R quản lý bộ nhớ của máy. Tôi nghĩ rằng một cái gì đó nó có thể làm là sử dụng bộ nhớ ảo nếu nó được sử dụng bộ nhớ vật lý nhiều hơn người dùng chỉ định. Có lựa chọn nào như thế không?

Answer 1

Nhìn vào ff và các gói bigmemory. Điều này sử dụng các hàm biết về các đối tượng R để giữ chúng trên đĩa thay vì cho phép hệ điều hành (mà chỉ biết về các khối bộ nhớ, nhưng không phải là những gì chúng đại diện).

Answer 2

R không quản lý bộ nhớ của máy. Đó là trách nhiệm của hệ điều hành. Lý do duy nhất memory.size và memory.limit tồn tại trên Windows là vì (từ help("Memory-limits")):

Under Windows, R imposes limits on the total memory allocation 
available to a single session as the OS provides no way to do so: 
see 'memory.size' and 'memory.limit'. 

R đối tượng cũng phải chiếm không gian tiếp giáp trong RAM, vì vậy bạn có thể chạy vào các vấn đề cấp phát bộ nhớ chỉ với một vài đối tượng lớn. Bạn có thể cẩn thận hơn với số lượng/kích thước của các đối tượng bạn tạo và tránh sử dụng quá nhiều bộ nhớ.

Answer 3

Đây không phải là giải pháp mà là đề xuất. Sử dụng các đối tượng hiệu quả bộ nhớ bất cứ khi nào có thể: ví dụ, sử dụng ma trận thay vì một data.frame.

Dưới đây là một ví dụ

m = matrix(rnorm(1000), 2, 2) 
d = as.data.frame(m) 
object.size(m) 
232 bytes 
object.size(d) 
808 bytes