Lỗi tràn ngăn xếp bảo vệ fread

Question

Tôi đang sử dụng fread trong data.table (1.8.8, R 3.0.1) trong một nỗ lực để đọc các tệp rất lớn.

Tệp trong câu hỏi có 313 hàng và ~ 6.6 triệu cols hàng dữ liệu số và tệp có kích thước khoảng 12gb. Đây là một Centos 6.4 với RAM 512GB.

Khi tôi cố gắng để đọc trong file:

g=fread('final.results',header=T,sep=' ') 
'header' changed by user from 'auto' to TRUE 
Error: protect(): protection stack overflow 

tôi đã cố gắng bắt đầu R với max-ppsize 500000, đó là tối đa, nhưng lỗi tương tự.

Tôi cũng đã cố gắng thiết lập kích thước ngăn xếp để không giới hạn thông qua

ulimit -s unlimited 

bộ nhớ ảo đã được thiết lập để không giới hạn.

Tôi không thực tế với tệp có kích thước này? Tôi đã bỏ lỡ một cái gì đó khá rõ ràng?

Answer 1

Bây giờ đã được sửa trong v1.8.9 trên R-Forge.

• Một giới hạn 50.000 cột ngoài ý muốn đã được gỡ bỏ trong fread. Nhờ mpmorley để báo cáo. Đã thêm kiểm tra.

Lý do là tôi đã phần này sai trong fread.c nguồn:

// ********************************************************************* 
// Allocate columns for known nrow 
// ********************************************************************* 
ans=PROTECT(allocVector(VECSXP,ncol)); 
protecti++; 
setAttrib(ans,R_NamesSymbol,names); 
for (i=0; i<ncol; i++) { 
    thistype = TypeSxp[ type[i] ]; 
    thiscol = PROTECT(allocVector(thistype,nrow)); // ** HERE ** 
    protecti++; 
    if (type[i]==SXP_INT64) 
     setAttrib(thiscol, R_ClassSymbol, ScalarString(mkChar("integer64"))); 
    SET_TRUELENGTH(thiscol, nrow); 
    SET_VECTOR_ELT(ans,i,thiscol); 
} 

Theo R-exts section 5.9.1, bảo vệ bên trong vòng lặp không cần thiết:

Trong một số các trường hợp cần phải theo dõi tốt hơn về việc liệu sự bảo vệ có thực sự cần thiết hay không. Hãy đặc biệt nhận thức được các tình huống mà một số lượng lớn các đối tượng được tạo ra. Con trỏ ngăn xếp bảo vệ có kích thước cố định (mặc định là 10.000) và có thể đầy. Nó không phải là một ý tưởng tốt sau đó để chỉ bảo vệ tất cả mọi thứ trong tầm nhìn và UNPROTECT vài nghìn đối tượng ở cuối. Nó sẽ gần như luôn luôn có thể hoặc là chỉ định các đối tượng như là một phần của đối tượng khác (mà tự động bảo vệ chúng) hoặc không bảo vệ chúng ngay lập tức sau khi sử dụng.

Vì vậy, PROTECT đó hiện đã bị xóa và tất cả đều tốt. (Dường như giới hạn ngăn xếp con trỏ bảo vệ đã bị giảm xuống còn 50.000 vì văn bản đó được viết; Defn.h chứa #define R_PPSSIZE 50000L.) Tôi đã kiểm tra tất cả các PROTECT khác trong dữ liệu. Có thể nguồn C cho bất kỳ thứ gì tương tự và được tìm thấy và cố định trong gán .c quá (khi thêm hơn 50.000 cột theo tham chiếu), không có người khác.

Cảm ơn bạn đã báo cáo!