Sự khác nhau giữa na(). Thả() và bộ lọc (col.isNotNull) (Apache Spark)

Question

Có sự khác biệt trong ngữ nghĩa giữa df.na().drop() và df.filter(df.col("onlyColumnInOneColumnDataFrame").isNotNull() && !df.col("onlyColumnInOneColumnDataFrame").isNaN()) nơi df là Apache SparkDataframe?

Hoặc tôi sẽ xem xét nó như là một lỗi nếu người đầu tiên nó không trả về sau null (không phải là một chuỗi null, nhưng chỉ đơn giản là một giá trị null) trong cột onlyColumnInOneColumnDataFrame và điều thứ hai không?

EDIT: đã thêm !isNaN(). onlyColumnInOneColumnDataFrame là cột duy nhất trong Dataframe nhất định. Giả sử loại của nó là Integer.

Answer 1

Với df.na.drop() bạn thả các hàng có chứa bất kỳ giá trị null hoặc NaN nào.

Với df.filter(df.col("onlyColumnInOneColumnDataFrame").isNotNull()) bạn thả những hàng có giá trị rỗng vào cột onlyColumnInOneColumnDataFrame.

Nếu bạn muốn đạt được điều tương tự, đó sẽ là df.na.drop(["onlyColumnInOneColumnDataFrame"]).

Answer 2

Tôi không biết bạn có câu trả lời hay không. Nhưng điều này nên làm việc:

df.na.drop(subset=["onlyColumnInOneColumnDataFrame"]) 

hoặc thậm chí:

df.na.drop(how = 'any')