read.csv cực kỳ chậm đọc các tệp csv với số lượng lớn các cột

Question

Tôi có tệp .csv: example.csv với 8000 cột x 40000 hàng. Tệp csv có tiêu đề chuỗi cho mỗi cột. Tất cả các trường chứa giá trị số nguyên từ 0 đến 10. Khi tôi cố tải tệp này bằng read.csv, nó trở nên cực kỳ chậm. Nó cũng rất chậm khi tôi thêm một tham số nrow = 100. Tôi tự hỏi nếu có một cách để tăng tốc read.csv, hoặc sử dụng một số chức năng khác thay vì read.csv để tải các tập tin vào bộ nhớ như là một ma trận hoặc data.frame?

Xin cảm ơn trước.

Answer 1

Nếu CSV của bạn chỉ chứa số nguyên, bạn nên sử dụng scan thay vì read.csv, vì ?read.csv nói:

‘read.table’ is not the right tool for reading large matrices, 
especially those with many columns: it is designed to read _data 
frames_ which may have columns of very different classes. Use 
‘scan’ instead for matrices. 

Kể từ khi tập tin của bạn có một tiêu đề, bạn sẽ cần skip=1, và nó có lẽ sẽ nhanh hơn nếu bạn thiết lập what=integer(). Nếu bạn phải sử dụng read.csv và tốc độ/bộ nhớ tiêu thụ là một mối quan tâm, thiết lập các đối số colClasses là một trợ giúp rất lớn.

Answer 2

Nếu bạn thường xuyên đọc tệp, bạn cũng nên lưu tệp đó từ R ở định dạng nhị phân sử dụng hàm save. Chỉ định compress=FALSE thường dẫn đến thời gian tải nhanh hơn.

... Sau đó, bạn có thể tải nó bằng chức năng (bất ngờ!) load.

d <- as.data.frame(matrix(1:1e6,ncol=1000)) 
write.csv(d, "c:/foo.csv", row.names=FALSE) 

# Load file with read.csv 
system.time(a <- read.csv("c:/foo.csv")) # 3.18 sec 

# Load file using scan 
system.time(b <- matrix(scan("c:/foo.csv", 0L, skip=1, sep=','), 
         ncol=1000, byrow=TRUE)) # 0.55 sec 

# Load (binary) file using load 
save(d, file="c:/foo.bin", compress=FALSE) 
system.time(load("c:/foo.bin")) # 0.09 sec 

Answer 3

Hãy thử sử dụng fread{data.table}. Đây là một trong những cách nhanh nhất để đọc các tệp .csv vào R. Có một số good benchmark here.

library(data.table) 

data <- fread("c:/data.csv") 

Nếu bạn muốn làm cho nó thậm chí còn nhanh hơn, bạn cũng có thể chỉ đọc các tập hợp con của cột mà bạn muốn sử dụng:

data <- fread("c:/data.csv", select = c("col1", "col2", "col3")) 

Answer 4

Cũng thử readr gói Hadley Wickham:

library(readr) 
data <- read_csv("file.csv")