Lọc cột Pyspark dataframe với Không giá trị

Question

Tôi đang cố gắng để lọc một dataframe PySpark có None như một giá trị hàng:

df.select('dt_mvmt').distinct().collect() 

[Row(dt_mvmt=u'2016-03-27'), 
Row(dt_mvmt=u'2016-03-28'), 
Row(dt_mvmt=u'2016-03-29'), 
Row(dt_mvmt=None), 
Row(dt_mvmt=u'2016-03-30'), 
Row(dt_mvmt=u'2016-03-31')] 

và tôi có thể lọc một cách chính xác với một giá trị chuỗi:

df[df.dt_mvmt == '2016-03-31'] 
# some results here 

nhưng điều này không thành công:

df[df.dt_mvmt == None].count() 
0 
df[df.dt_mvmt != None].count() 
0 

Nhưng có giá trị chắc chắn trên mỗi danh mục. Chuyện gì vậy?

Answer 1

Bạn có thể sử dụng Column.isNull/Column.isNotNull:

df.where(col("dt_mvmt").isNull()) 

df.where(col("dt_mvmt").isNotNull()) 

Nếu bạn muốn chỉ đơn giản là thả NULL giá trị mà bạn có thể sử dụng na.drop với subset luận:

df.na.drop(subset=["dt_mvmt"]) 

so sánh bình đẳng dựa với NULL sẽ không hoạt động bởi vì trong SQL NULL không xác định nên bất kỳ nỗ lực nào so sánh nó với một giá trị khác trả về NULL:

sqlContext.sql("SELECT NULL = NULL").show() 
## +-------------+ 
## |(NULL = NULL)| 
## +-------------+ 
## |   null| 
## +-------------+ 


sqlContext.sql("SELECT NULL != NULL").show() 
## +-------------------+ 
## |(NOT (NULL = NULL))| 
## +-------------------+ 
## |    null| 
## +-------------------+ 

duy nhất phương pháp hợp lệ để so sánh giá trị với NULL là IS/IS NOT đó tương đương với isNull/isNotNull lời gọi phương thức.

Answer 2

Cố gắng chỉ sử dụng hàm isNotNull.

df.filter(df.dt_mvmt.isNotNull()).count() 

Answer 3

Để có được các mục có giá trị trong cột dt_mvmt không phải là null chúng tôi có

df.filter("dt_mvmt is not NULL") 

và cho các mục đó là null chúng tôi có

df.filter("dt_mvmt is NULL")