Cách đặt tên cột thành hàm toDF() trong khung dữ liệu tia lửa bằng cách sử dụng mảng chuỗi?

Question

Ví dụ,

val columns=Array("column1", "column2", "column3") 
val df=sc.parallelize(Seq(
(1,"example1", Seq(0,2,5)), 
(2,"example2", Seq(1,20,5)))).toDF(columns) 

Làm thế nào tôi có thể đặt tên cột bằng chuỗi mảng? Có thể đề cập đến các kiểu dữ liệu bên trong toDF() không?

Answer 1

toDF() mất một lặp đi lặp lại tham số loại String, vì vậy bạn có thể sử dụng _* loại chú thích để vượt qua một chuỗi:

val df=sc.parallelize(Seq(
    (1,"example1", Seq(0,2,5)), 
    (2,"example2", Seq(1,20,5)))).toDF(columns: _*) 

Để biết thêm thông tin lặp lại - hãy xem phần 4.6.2 trong Scala Language Specification.

Answer 2

val df=sc.parallelize(Seq(
(1,"example1", Seq(0,2,5)), 
(2,"example2", Seq(1,20,5)))).toDF("column1", "column2", "column3") 

toDF() có chuỗi bằng dấu phẩy tách

Answer 3

toDF() được định nghĩa trong Spark documentation như:

def toDF(colNames: String*): DataFrame 

Và vì vậy bạn cần để biến mảng của bạn đến một varargs cũng như mô tả here. Điều đó có nghĩa bạn cần phải làm như sau:

val columns=Array("column1", "column2", "column3") 
val df=sc.parallelize(Seq(
(1,"example1", Seq(0,2,5)), 
(2,"example2", Seq(1,20,5)))).toDF(columns: _*) 

(Địa chỉ: _ * để columns trong toDF)