Nối dữ liệu mới vào một khung dữ liệu hiện có (RDS) trong R

Question

Tôi có một Rscript đang đọc trong một dòng dữ liệu liên tục dưới dạng một tệp phẳng. Một tập lệnh khác chọn tệp phẳng này, thực hiện phân tích cú pháp và xử lý, sau đó lưu kết quả dưới dạng tệp data.frame ở định dạng RDS. Sau đó nó ngủ và lặp lại quá trình.

saveRDS(tmp.df, file="H:/Documents/tweet.df.rds") #saving the data.frame 

Trong lần lặp thứ hai ... nth, tôi có mã chỉ xử lý dòng mới được thêm vào tệp phẳng kể từ lần lặp trước đó. Tuy nhiên, để nối thêm các đường delta vào khung dữ liệu cố định, tôi phải đọc nó trong, chắp thêm và sau đó lưu nó lại, ghi đè lên bản gốc.

df2 <- readRDS("H:/Documents/tweet.df.rds") #read in permanent      
tmp.df2 <- rbind(df2, tmp.df) #append new to existing 
saveRDS(tmp.df2, file="H:/Documents/tweet.df.rds") #save it 
rm(df2) #housecleaning 
rm(tmp.df2) #housecleaning 

Cách tiếp cận này là mạo hiểm vì bất cứ khi nào RDS mở cửa cho việc đọc/ghi, một quá trình muốn chạm vào tập tin đó có phải chờ đợi. Khi tệp cơ sở trở nên lớn hơn, nguy cơ tăng lên.

Có gì giống như một appendRDS (Tôi biết nghĩa là không) có thể đạt được những gì tôi muốn lặp lại cập nhật của một khung dữ liệu duy nhất- được lưu vào một tệp- sử dụng thay thế thay vì hoàn thành?

Answer 1

Tôi nghĩ bạn có thể bảo vệ quy trình của mình bằng cách sử dụng các kết nối, mở và đóng nó trước khi quá trình tiếp theo tiếp quản.

con <- file("tmp.rds") 
open(con) 
df <- readRDS(con) 
df.new <- rbind(df,df) 
saveRDS(df.new, con) 
close(con) 

Cập nhật:

Bạn có thể kiểm tra nếu một kết nối đến tập tin mở cửa và nói với nó để chờ một chút nếu bạn đang gặp vấn đề với đồng thời.

while(is.Open(con)) { # untested but something of this nature should work 
sys.Sleep(2) 
} 

Answer 2

Có điều gì sai khi sử dụng hàng loạt tệp RDS được đánh số trong thư mục thay vì tệp RDS duy nhất không? Tôi không nghĩ là có thể gắn thêm vào một khung dữ liệu một tệp RDS mà không cần viết lại toàn bộ tệp, vì khung dữ liệu chỉ đơn giản là danh sách các cột, vì vậy có lẽ chúng được nối tiếp một cột tại một thời điểm, vì vậy chỉ có cột cuối cùng kết thúc ở gần cuối tập tin.

Nếu bạn muốn gắn bó với một tệp nhưng giảm thiểu nguy cơ đọc dữ liệu không phù hợp từ tệp RDS, bạn có thể đọc nó, thực hiện thao tác chắp thêm rồi ghi nó ra tệp tạm thời và đổi tên temp tập tin vào tên gốc khi nó được hoàn thành. Sau đó, ít nhất là khoảng thời gian rủi ro của bạn không phụ thuộc vào kích thước của tệp. Tôi không quen thuộc với loại nguyên tử được đảm bảo bởi hệ thống tập tin khác nhau khi đổi tên một tập tin thành một tên hiện có, nhưng nó có lẽ tốt hơn so với thời gian được thực hiện bởi saveRDS.