Làm thế nào để sử dụng tidyr (hoặc dữ liệu tương tự wrangling) trên dữ liệu "lớn" trong cơ sở dữ liệu postgreSQL (Redshift)

Question

Tôi có 4 tỷ hàng dữ liệu trong một cụm redshift 12 nút. Tôi thành công có thể kết nối với nó với các gói Rpostgreqsql và sử dụng dplyr để làm dữ liệu cơ bản wrangling.

Tuy nhiên, tôi muốn thực hiện một số định dạng lại dữ liệu mà tôi thường sử dụng reshape2 (dcast) hoặc tidyr (spread) để thực hiện. Tôi thấy rằng không phải gói nào thực hiện trên đối tượng cơ sở dữ liệu của tôi. Tôi có thể chạy "thu thập" nhưng đó sẽ là vấn đề vì dataframe đó sẽ là quá lớn để phù hợp với bộ nhớ (vì vậy lý do tôi muốn chạy trong DB). Mục tiêu tổng thể của tôi là sử dụng dcast/spread để làm cho dữ liệu rộng hơn trong khi tạo ra 0/1 cờ trong tiến trình. Điều này làm việc như một sự quyến rũ với các mẫu dữ liệu nhỏ trên máy tính của tôi, nhưng không tốt trên DB.

Dưới đây là mã của tôi mà tôi đang làm việc. Kết nối với DB và thực hiện lọc cơ bản với dplyr. Khi tôi cố gắng sử dụng tidyr/reshape2, R ném lỗi cú pháp "loại không được nhận dạng"

Redshift <- src_postgres('dev', 
         host = 'xxx.aws.com', 
         port = 5439, 
         user = "user", 
         password = "pwd") 


### create table reference ### 
df <- tbl(Redshift, "df_cj_allact") 

# simple and default R commands analyzing data frames 
dim(df) 
colnames(df) 
head(df) 

df2 <- df %>% filter(id != '0') %>% arrange(id, timestamp, category) # seems to work! 
# 2157398, was 2306109 (6% loss) 

Answer 1

gói tidyr không hỗ trợ phụ trợ cơ sở dữ liệu. Bạn chỉ có thể thao tác trong dữ liệu bộ nhớ. dplyr làm việc với các bảng cơ sở dữ liệu cũng như trong các đối tượng bộ nhớ. Bạn có thể thử sử dụng máy với bộ nhớ lớn hơn (nói trên AWS) và sử dụng data.table, hoặc suy nghĩ về việc tách dữ liệu của bạn.