hiển thị các giá trị cột riêng biệt trong pyspark dataframe: python

Question

Vui lòng đề nghị thay thế pyspark dataframe cho gấu trúc df ['col']. Unique().

tôi muốn liệt kê tất cả các giá trị duy nhất trong cột dataframe pyspark.

Không loại sql chiều (registertemplate sau đó truy vấn sql cho giá trị khác biệt)

Ngoài ra tôi không cần groupby-> countDistinct, thay vào đó tôi muốn kiểm tra giá trị khác biệt trong cột đó.

Answer 1

Giả sử chúng ta đang làm việc với các đại diện sau đây của dữ liệu (hai cột, k và v, nơi k chứa ba mục, hai độc đáo:

+---+---+ 
| k| v| 
+---+---+ 
|foo| 1| 
|bar| 2| 
|foo| 3| 
+---+---+ 

Với dataframe Pandas:

import pandas as pd 
p_df = pd.DataFrame([("foo", 1), ("bar", 2), ("foo", 3)], columns=("k", "v")) 
p_df['k'].unique() 

Trả lại một số ndarray, tức là array(['foo', 'bar'], dtype=object)

Bạn đã yêu cầu "pyspark dataframe thay thế cho gấu trúc df ['col']. unique()". Bây giờ, do dataframe Spark sau:

s_df = sqlContext.createDataFrame([("foo", 1), ("bar", 2), ("foo", 3)], ('k', 'v')) 

Nếu bạn muốn cùng kết quả từ Spark, tức là một ndarray, sử dụng toPandas():

s_df.toPandas()['k'].unique() 

Ngoài ra, nếu bạn không cần một ndarray cụ thể và chỉ muốn danh sách các giá trị duy nhất của cột k:

s_df.select('k').distinct().rdd.map(lambda r: r[0]).collect() 

Cuối cùng, bạn cũng có thể sử dụng danh sách hiểu như sau:

[i.k for i in s_df.select('k').distinct().collect()] 

Answer 2

Bạn có thể sử dụng chỉ df.dropDuplicates ([ 'col1', 'col2']) để có được những dòng thoả điều distincted bởi colX trong mảng

Answer 3

Điều này sẽ giúp để có được giá trị khác biệt của một cột:.

df.select('column1').distinct().show()