Lọc df khi các giá trị khớp với một phần của chuỗi trong pyspark

Question

Tôi có một số lớn pyspark.sql.dataframe.DataFrame và tôi muốn giữ (như vậy filter) tất cả các hàng nơi URL được lưu trong cột location chứa chuỗi được xác định trước, ví dụ: 'google.com'.

Tôi đã thử df.filter(sf.col('location').contains('google.com') nhưng điều này ném một

TypeError: _TypeError: 'Column' object is not callable' 

Làm thế nào để đi xung quanh và lọc df của tôi đúng? Rất cám ơn trước!

Answer 1

Bạn có thể sử dụng đồng bằng SQL trong filter

df.filter("location like '%google.com%'") 

hoặc với các phương pháp cột DataFrame

df.filter(df.location.like('%google.com%'))