Có điều kiện loại bỏ trùng lặp gấu trúc python

Question

Có cách nào để có điều kiện thả trùng lặp (sử dụng drop_duplicates cụ thể) trong một khung dữ liệu gấu trúc w/khoảng 10 cột và 400.000 hàng? Đó là, tôi muốn giữ tất cả các hàng có 2 cột đáp ứng một điều kiện: nếu sự kết hợp của ngày (cột) và lưu trữ (cột) # là duy nhất, giữ hàng, khác khôn ngoan, thả.

Answer 1

Sử dụng drop_duplicates trở dataframe với hàng trùng lặp loại bỏ, tùy chọn chỉ xem xét một số cột

Hãy dataframe ban đầu giống như

In [34]: df 
Out[34]: 
    Col1 Col2 Col3 
0 A B 10 
1 A B 20 
2 A C 20 
3 C B 20 
4 A B 20 

Nếu bạn muốn đi kết hợp độc đáo từ các cột nhất định 'Col1', 'Col2'

In [35]: df.drop_duplicates(['Col1', 'Col2']) 
Out[35]: 
    Col1 Col2 Col3 
0 A B 10 
2 A C 20 
3 C B 20 

Nếu bạn muốn kết hợp độc đáo tất cả các cột

In [36]: df.drop_duplicates() 
Out[36]: 
    Col1 Col2 Col3 
0 A B 10 
1 A B 20 
2 A C 20 
3 C B 20