Bí danh cột sau groupBy trong pyspark

Question

Tôi cần khung dữ liệu kết quả trong dòng bên dưới, để có tên bí danh "maxDiff" cho cột tối đa ('diff') sau groupBy. Tuy nhiên, các dòng dưới đây không makeany thay đổi, cũng không ném một lỗi.

grpdf = joined_df.groupBy(temp1.datestamp).max('diff').alias("maxDiff") 

Answer 1

Điều này là do bạn đang đặt bí danh toàn bộ đối tượng DataFrame, không phải Column. Dưới đây là một ví dụ làm thế nào để bí danh Column chỉ:

import pyspark.sql.functions as func 

grpdf = joined_df \ 
    .groupBy(temp1.datestamp) \ 
    .max('diff') \ 
    .select(func.col("max(diff)").alias("maxDiff")) 

Answer 2

Bạn có thể sử dụng agg thay vì gọi max phương pháp:

from pyspark.sql.functions import max 

joined_df.groupBy(temp1.datestamp).agg(max("diff").alias("maxDiff")) 

Answer 3

Ngoài các câu trả lời đã ở đây, sau đây cũng là cách tiện lợi nếu bạn biết tên của cột tổng hợp, nơi bạn không phải nhập từ pyspark.sql.functions:

grouped_df = joined_df.groupBy(temp1.datestamp) \ 
         .max('diff') \ 
         .selectExpr('max(diff) AS maxDiff') 

Xem docs để biết về .selectExpr()

grouped_df = joined_df.groupBy(temp1.datestamp) \ 
         .max('diff') \ 
         .withColumnRenamed('max(diff)', 'maxDiff') 

Xem docs để biết về .withColumnRenamed()

Câu trả lời này, ở đây đi vào chi tiết hơn: https://stackoverflow.com/a/34077809