Cách nhanh để xem số lượng quan sát phổ biến cho các mục nhập ma trận tương quan Python Pandas

Question

Giả sử tôi có một số pandas.DataFrame được gọi là df. Các cột của df đại diện cho các cá nhân khác nhau và trục chỉ số đại diện cho thời gian, vì vậy mục (i, j) là quan sát của cá nhân j trong khoảng thời gian i và chúng ta có thể giả định tất cả dữ liệu là float có thể với giá trị NaN.

Trong trường hợp của tôi, tôi có khoảng 14.000 cột và vài trăm hàng.

pandas.corr sẽ trả lại ma trận tương quan 14.000 x 14.000 và hiệu suất thời gian của nó là tốt cho ứng dụng của tôi. Nhưng tôi cũng muốn biết, đối với mỗi cặp cá nhân (j_1, j_2), có bao nhiêu quan sát không null đi vào tính toán tương quan, vì vậy tôi có thể cô lập các ô tương quan bị phủ sóng dữ liệu kém.

Điều tốt nhất tôi đã có thể đưa ra như sau:

not_null_locations = pandas.notnull(df).values.astype(int) 
common_obs = pandas.DataFrame(not_null_locations.T.dot(not_null_locations), 
           columns=df.columns, index=df.columns) 

Các bộ nhớ và tốc độ này bắt đầu có một chút vấn đề.

Có cách nào nhanh hơn để nhận các quan sát chung với pandas không?

Answer 1

Bạn có thể thực hiện việc này, nhưng sẽ cần phải tạo mã hóa (nếu không chậm hơn nhiều); Tuy nhiên bộ nhớ dấu chân nên được tốt hơn (điều này cho biết số quan sát nan, bạn mang đến cho số quan sát hợp lệ, nhưng dễ dàng chuyển đổi)

l = len(df.columns) 
results = np.zeros((l,l)) 
mask = pd.isnull(df) 
for i, ac in enumerate(df): 
    for j, bc in enumerate(df): 
      results[j,i] = (mask[i] & mask[j]).sum() 
results = DataFrame(results,index=df.columns,columns=df.columns) 

Answer 2

Bạn thực sự có thể làm cho @ câu trả lời của Jeff nhanh hơn một chút bởi chỉ lặp lại lên đến (nhưng không bao gồm) i + 1 trong vòng lặp lồng nhau và vì tương quan là đối xứng, bạn có thể gán giá trị cùng một lúc. Bạn cũng có thể di chuyển truy cập mask[i] bên ngoài vòng lặp lồng nhau, đó là một tối ưu hóa nhỏ nhưng có thể mang lại một số lợi ích hiệu suất cho các khung hình rất lớn.

l = len(df.columns) 
results = np.zeros((l,l)) 
mask = pd.isnull(df) 
for i in range(l): 
    maski = mask[i] 
    for j in range(i + 1): 
      results[i,j] = results[j,i] = (maski & mask[j]).sum() 
results = DataFrame(results,index=df.columns,columns=df.columns)