"Lỗi bộ nhớ ngoài (Java)" khi sử dụng gói R và XLConnect

Question

Tôi đã cố gắng tải một bảng tính excel ~ 30MB vào R bằng gói XLConnect.

Đây là những gì tôi đã viết:

wb <- loadWorkbook("largespreadsheet.xlsx") 

Và sau khoảng 15 giây, tôi đã nhận lỗi sau:

Error: OutOfMemoryError (Java): GC overhead limit exceeded.

Đây có phải là một hạn chế của gói XLConnect hoặc là có một cách để tinh chỉnh cài đặt bộ nhớ của tôi để cho phép các tệp lớn hơn?

Tôi đánh giá cao mọi giải pháp/mẹo/lời khuyên.

Answer 1

Thực hiện theo các lời khuyên từ website của họ:

options(java.parameters = "-Xmx1024m") 
library(XLConnect) 

Answer 2

Nếu bạn vẫn có vấn đề với nhập khẩu file XLSX bạn có thể sử dụng opiton này. Anwser với "Xmx1024m" không hoạt động và tôi đã thay đổi thành "-Xmx4g".

options(java.parameters = "-Xmx4g") 
library(XLConnect) 

This liên kết hữu ích.

Answer 3

Sử dụng read.xlsx() trong số openxlsx package. Nó không phụ thuộc vào rJava do đó chỉ có giới hạn bộ nhớ của bản thân R. Tôi chưa khám phá sâu sắc về viết và định dạng XLSX nhưng nó có một số họa tiết tìm kiếm đầy hứa hẹn. Để đọc bảng tính lớn, nó hoạt động tốt.

Mẹo dành cho @ Brad-Horn. Tôi vừa mới đưa ra nhận xét của anh ấy như một câu trả lời bởi vì tôi cũng thấy đây là giải pháp tốt nhất!

Answer 4

Trường hợp này xảy ra, khi bạn tiếp tục sử dụng cùng một phiên R một lần nữa mà không cần khởi động lại R-Studio. Khởi động lại R-Studio có thể giúp phân bổ một bộ nhớ heap mới cho chương trình. Nó làm việc cho tôi ngay lập tức.

Answer 5

Trong trường hợp ai đó bắt gặp lỗi này khi đọc không phải là một khổng lồ nhưng nhiều file, tôi quản lý để giải quyết lỗi này bằng cách giải phóng Java bộ nhớ Virtual Machine với xlcFreeMemory(), như sau:

files <- list.files(path, pattern = "*.xlsx") 
for (i in seq_along(files)) { 
    wb <- loadWorkbook(...) 
    ... 
    rm(wb) 
    xlcFreeMemory() # <= free Java Virtual Machine memory ! 
} 

Answer 6

Bất cứ khi nào bạn đang sử dụng một thư viện dựa trên rJava (chẳng hạn như RWeka trong trường hợp của tôi), bạn bị ràng buộc để đạt không gian heap mặc định (512 MB) một ngày nào đó. Bây giờ, khi bạn đang sử dụng Java, tất cả chúng ta đều biết đối số JVM để sử dụng (-Xmx2048m nếu bạn muốn 2 gigabyte RAM). Đây chỉ là vấn đề làm thế nào để xác định nó trong môi trường R.

options(java.parameters = "-Xmx2048m") 
    library(rJava)