2016-08-09 22 views
5

Cú pháp để sử dụng nhóm có trong Spark mà không có sql/hiveContext là gì? Tôi biết tôi có thể làmSpark - Nhóm bằng HAVING với cú pháp dataframe?

DataFrame df = some_df 
df.registreTempTable("df");  
df1 = sqlContext.sql("SELECT * FROM df GROUP BY col1 HAVING some stuff") 

nhưng làm thế nào để làm điều đó với một cú pháp như

df = df.select(df.col("*")).groupBy(df.col("col1")).having("some stuff")? Điều này .having() dường như không tồn tại.

Trả lời

5

Có, nó không tồn tại. Bạn thể hiện cùng một logic với agg theo sau bởi where:

df.groupBy(someExpr).agg(somAgg).where(somePredicate) 
Các vấn đề liên quan