Làm thế nào để áp dụng một chức năng cho một cột của một DataFrame Spark?

Question

Giả sử rằng chúng ta có một Spark DataFrame

df.getClass 
Class[_ <: org.apache.spark.sql.DataFrame] = class org.apache.spark.sql.DataFrame 

với giản đồ sau

df.printSchema 
root 
|-- rawFV: string (nullable = true) 
|-- tk: array (nullable = true) 
| |-- element: string (containsNull = true) 

Cho rằng mỗi hàng của cột tk là một mảng các chuỗi, làm thế nào để viết một hàm Scala rằng sẽ trả về số lượng các phần tử trong mỗi hàng?

Answer 1

Bạn không cần phải viết một chức năng tùy chỉnh vì có một:

import org.apache.spark.sql.functions.size 

df.select(size($"tk")) 

Nếu bạn thực sự muốn bạn có thể viết một udf:

import org.apache.spark.sql.functions.udf 

val size_ = udf((xs: Seq[String]) => xs.size) 

hoặc thậm chí tạo tùy chỉnh một biểu thức nhưng thực sự không có điểm nào trong đó.

Answer 2

Một cách là truy cập chúng bằng cách sử dụng sql như dưới đây.

df.registerTempTable("tab1") 
val df2 = sqlContext.sql("select tk[0], tk[1] from tab1") 

df2.show() 

Để có được kích thước của cột mảng,

val df3 = sqlContext.sql("select size(tk) from tab1") 
df3.show() 

Nếu phiên bản Spark của bạn là cũ hơn, bạn có thể sử dụng HiveContext thay vì bối cảnh SQL Spark.

Tôi cũng sẽ thử một số điều đi ngang qua.