Làm thế nào để có điều kiện loại bỏ bản sao từ một dataframe gấu trúc

Question

Xem xét dataframe sau

import pandas as pd 
df = pd.DataFrame({'A' : [1, 2, 3, 3, 4, 4, 5, 6, 7], 
        'B' : ['a','b','c','c','d','d','e','f','g'], 
        'Col_1' :[np.NaN, 'A','A', np.NaN, 'B', np.NaN, 'B', np.NaN, np.NaN], 
        'Col_2' :[2,2,3,3,3,3,4,4,5]}) 
df 
Out[92]: 
    A B Col_1 Col_2 
0 1 a NaN  2 
1 2 b  A  2 
2 3 c  A  3 
3 3 c NaN  3 
4 4 d  B  3 
5 4 d NaN  3 
6 5 e  B  4 
7 6 f NaN  4 
8 7 g NaN  5 

Tôi muốn loại bỏ tất cả các hàng mà là bản sao liên quan đến cột 'A' 'B'. Tôi muốn xóa mục nhập có mục nhập NaN (Tôi biết rằng đối với tất cả các chế độ sẽ có một số NaN và mục nhập không phải là NaN). Kết quả cuối cùng sẽ giống như thế này

A B Col_1 Col_2 
0 1 a NaN  2 
1 2 b  A  2 
2 3 c  A  3 
4 4 d  B  3 
6 5 e  B  4 
7 6 f NaN  4 
8 7 g NaN  5 

Tất cả hiệu quả, một lớp lót được hoan nghênh nhất

Answer 1

Dưới đây là một sự thay thế:

df[~((df[['A', 'B']].duplicated(keep=False)) & (df.isnull().any(axis=1)))] 
# A B Col_1 Col_2 
# 0 1 a NaN  2 
# 1 2 b  A  2 
# 2 3 c  A  3 
# 4 4 d  B  3 
# 6 5 e  B  4 
# 7 6 f NaN  4 
# 8 7 g NaN  5 

này sử dụng các phép toán "không phải là" nhà điều hành ~ phủ nhận hàng đáp ứng các điều kiện chung trở thành một hàng trùng lặp (đối số keep=False khiến phương thức đánh giá thành True cho tất cả các hàng không phải duy nhất) và chứa ít nhất một giá trị null. Vì vậy, nơi biểu thức df[['A', 'B']].duplicated(keep=False) lợi nhuận loạt tài liệu này:

# 0 False 
# 1 False 
# 2  True 
# 3  True 
# 4  True 
# 5  True 
# 6 False 
# 7 False 
# 8 False 

... và các biểu hiện df.isnull().any(axis=1) lợi nhuận loạt tài liệu này:

# 0  True 
# 1 False 
# 2 False 
# 3  True 
# 4 False 
# 5  True 
# 6 False 
# 7  True 
# 8  True 

... chúng tôi quấn cả trong ngoặc đơn (theo yêu cầu của cú pháp Pandas bất cứ khi nào sử dụng nhiều biểu thức trong hoạt động lập chỉ mục) và sau đó quấn chúng trong ngoặc đơn lại để chúng tôi có thể phủ nhận toàn bộ biểu thức (ví dụ: ~(...)), như sau:

~((df[['A','B']].duplicated(keep=False)) & (df.isnull().any(axis=1))) & (df['Col_2'] != 5) 

# 0  True 
# 1  True 
# 2  True 
# 3 False 
# 4  True 
# 5 False 
# 6  True 
# 7  True 
# 8 False 

Bạn có thể tạo các điều kiện phức tạp hơn với việc sử dụng thêm các toán tử logic & và | (toán tử "hoặc"). Giống như với SQL, nhóm các điều kiện của bạn khi cần thiết với các dấu ngoặc đơn bổ sung; ví dụ: bộ lọc dựa trên logic "cả hai điều kiện X AND Y là đúng hoặc điều kiện Z là đúng" với df[ ((X) & (Y)) | (Z) ].

Answer 2

Nếu mục tiêu là để chỉ thả NaN bản sao, một giải pháp nhẹ tham gia nhiều hơn là cần thiết.

Trước tiên, hãy phân loại trên A, B và Col_1, vì vậy NaN s được chuyển xuống cuối mỗi nhóm. Sau đó gọi df.drop_duplicates với keep=first:

out = df.sort_values(['A', 'B', 'Col_1']).drop_duplicates(['A', 'B'], keep='first') 
print(out) 

    A B Col_1 Col_2 
0 1 a NaN  2 
1 2 b  A  2 
2 3 c  A  3 
4 4 d  B  3 
6 5 e  B  4 
7 6 f NaN  4 
8 7 g NaN  5 

Answer 3

Hoặc bạn chỉ có thể sử dụng first(), bằng cách sử dụng đầu tiên, sẽ trả lại giá trị notnull đầu tiên, do đó thứ tự của mục nhập ban đầu không thực sự quan trọng.

df.groupby(['A','B']).first() 

Out[180]: 
    Col_1 Col_2 
A B    
1 a NaN  2 
2 b  A  2 
3 c  A  3 
4 d  B  3 
5 e  B  4 
6 f NaN  4 
7 g NaN  5