Spark DataFrame và đổi tên nhiều cột (Java)

Question

Có cách nào tốt hơn để đặt trước hoặc đổi tên tất cả hoặc nhiều cột cùng lúc với một SparkSQL DataFrame nhất định hơn gọi nhiều lần dataFrame.withColumnRenamed()?

Ví dụ sẽ là nếu tôi muốn phát hiện các thay đổi (sử dụng kết hợp bên ngoài đầy đủ). Sau đó, tôi còn lại với hai DataFrame s có cùng cấu trúc.

Answer 1

Tôi đề nghị sử dụng phương thức select() để thực hiện việc này. Trong thực tế, phương thức withColumnRenamed() sử dụng select() của chính nó. Dưới đây là ví dụ làm thế nào để đổi tên nhiều cột:

import org.apache.spark.sql.functions._ 

val someDataframe: DataFrame = ... 

val initialColumnNames = Seq("a", "b", "c") 
val renamedColumns = initialColumnNames.map(name => col(name).as(s"renamed_$name")) 
someDataframe.select(renamedColumns : _*) 

Answer 2

tôi HEVE chỉ tìm thấy câu trả lời

df1_r = df1.select(*(col(x).alias(x + '_df1') for x in df1.columns)) 

tại stackoverflow here (xem kết thúc của câu trả lời được chấp nhận)

Answer 3

Mặc dù nó không trả lời của bạn câu hỏi trực tiếp, nhưng tôi luôn cập nhật từng cột một. Kể từ khi nó cập nhật chỉ DF siêu dữ liệu, không có hại (không có tác động hiệu suất) về việc cập nhật tên cột từng người một, ví dụ .:

for c in DF.columns: 
    new_c = c.strip().replace(' ','_') 
    DF = DF.withColumnRenamed(c, new_c) 

Answer 4

or (a <- 0 to newsales.columns.length - 1) 
{ 
var new_c = newsales.columns(a).replace('(','_').replace(')',' ').trim 
newsales_var = newsales.withColumnRenamed(newsales.columns(a),new_c) 
}