Cách thêm cột đã chọn vào khung dữ liệu gấu trúc từ df với các cột khác nhau

Question

Tôi muốn có thể chắp thêm df1 df2, df3 vào một df_All, nhưng vì mỗi khung dữ liệu có cột khác nhau. Làm thế nào tôi có thể làm điều này trong vòng lặp (tôi có những thứ khác mà tôi phải làm trong vòng lặp for)?

import pandas as pd 
import numpy as np 

df1 = pd.DataFrame.from_items([('A', [1, 2, 3]), ('B', [4, 5, 6])]) 
df2 = pd.DataFrame.from_items([('B', [5, 6, 7]), ('A', [8, 9, 10])]) 
df3 = pd.DataFrame.from_items([('C', [5, 6, 7]), ('D', [8, 9, 10]), ('A',[1,2,3]), ('B',[4,5,7])]) 
list = ['df1','df2','df3'] 
df_All = pd.DataFrame() 
for i in list: 
    # doing something else as well --- 
    df_All = df_All.append(i) 

Tôi muốn df_All tôi chỉ có (A & B) duy nhất, là có một cách để này trong vòng lặp ở trên? một cái gì đó giống như chỉ chắp thêm hai cột này?

Answer 1

Nếu tôi hiểu những gì bạn muốn thì bạn cần phải chọn chỉ cột 'A' và 'B' từ df3 và sau đó sử dụng pd.concat:

In [35]: 

df1 = pd.DataFrame.from_items([('A', [1, 2, 3]), ('B', [4, 5, 6])]) 
df2 = pd.DataFrame.from_items([('B', [5, 6, 7]), ('A', [8, 9, 10])]) 
df3 = pd.DataFrame.from_items([('C', [5, 6, 7]), ('D', [8, 9, 10]), ('A',[1,2,3]), ('B',[4,5,7])]) 
df_list = [df1,df2,df3[['A','B']]] 
pd.concat(df_list, ignore_index=True) 
Out[35]: 
    A B 
0 1 4 
1 2 5 
2 3 6 
3 8 5 
4 9 6 
5 10 7 
6 1 4 
7 2 5 
8 3 7 

Lưu ý rằng trong mã ban đầu của bạn này là thực hành kém:

list = ['df1','df2','df3'] 

này bóng tối được xây dựng trong loại list cộng ngay cả khi nó đã thực sự là một tên var hợp lệ như df_list bạn đã tạo ra một danh sách các chuỗi và không phải là một danh sách các dfs.

Nếu bạn muốn xác định các cột chung thì bạn có thể xác định điều này bằng cách sử dụng phương pháp np.intersection trên các cột:

In [39]: 

common_cols = df1.columns.intersection(df2.columns).intersection(df3.columns) 
common_cols 
Out[39]: 
Index(['A', 'B'], dtype='object') 

Answer 2

Bạn cũng có thể sử dụng thiết lập sự hiểu biết để tham gia tất cả các cột phổ biến từ một danh sách tùy ý DataFrames:

df_list = [df1, df2, df3] 
common_cols = list(set.intersection(*(set(c) for c in df_list))) 
df_new = pd.concat([df[common_cols] for df in df_list], ignore_index=True) 
>>> df_new 
    A B 
0 1 4 
1 2 5 
2 3 6 
3 8 5 
4 9 6 
5 10 7 
6 1 4 
7 2 5 
8 3 7