Làm thế nào để thay đổi tên cột dataframe trong pyspark?

Question

Tôi đến từ nền gấu trúc và đang sử dụng để đọc dữ liệu từ các tập tin CSV vào một dataframe và sau đó chỉ cần thay đổi tên cột một cái gì đó hữu ích bằng cách sử dụng lệnh đơn giản:

df.columns = new_column_name_list 

Tuy nhiên, tương tự không làm việc trong pyspark dataframes được tạo bằng sqlContext. Giải pháp duy nhất tôi có thể tìm ra để làm điều này một cách dễ dàng như sau:

df = sqlContext.read.format("com.databricks.spark.csv").options(header='false', inferschema='true', delimiter='\t').load("data.txt") 
oldSchema = df.schema 
for i,k in enumerate(oldSchema.fields): 
    k.name = new_column_name_list[i] 
df = sqlContext.read.format("com.databricks.spark.csv").options(header='false', delimiter='\t').load("data.txt", schema=oldSchema) 

này về cơ bản là xác định các biến hai lần và suy luận giản đồ đầu tiên sau đó đổi tên các tên cột và sau đó tải dataframe lại với giản đồ được cập nhật .

Có cách nào tốt hơn và hiệu quả hơn để làm điều này giống như chúng tôi làm trong gấu trúc không?

phiên bản spark tôi là 1.5.0

Answer 1

Có rất nhiều cách để làm điều đó:

• Lựa chọn 1. Sử dụng selectExpr.

  data = sqlContext.createDataFrame([("Alberto", 2), ("Dakota", 2)], 
              ["Name", "askdaosdka"]) 
  data.show() 
  data.printSchema() 
  
  # Output 
  #+-------+----------+ 
  #| Name|askdaosdka| 
  #+-------+----------+ 
  #|Alberto|   2| 
  #| Dakota|   2| 
  #+-------+----------+ 
  
  #root 
  # |-- Name: string (nullable = true) 
  # |-- askdaosdka: long (nullable = true) 
  
  df = data.selectExpr("Name as name", "askdaosdka as age") 
  df.show() 
  df.printSchema() 
  
  # Output 
  #+-------+---+ 
  #| name|age| 
  #+-------+---+ 
  #|Alberto| 2| 
  #| Dakota| 2| 
  #+-------+---+ 
  
  #root 
  # |-- name: string (nullable = true) 
  # |-- age: long (nullable = true) 
  

• Tùy chọn 2. Sử dụng withColumnRenamed, lưu ý rằng phương pháp này cho phép bạn "ghi đè" cùng một cột.

  oldColumns = data.schema.names 
  newColumns = ["name", "age"] 
  
  df = reduce(lambda data, idx: data.withColumnRenamed(oldColumns[idx], newColumns[idx]), xrange(len(oldColumns)), data) 
  df.printSchema() 
  df.show() 
  

• Tùy chọn 3. sử dụng alias, tại Scala bạn cũng có thể sử dụng as.

  from pyspark.sql.functions import * 
  
  data = data.select(col("Name").alias("name"), col("askdaosdka").alias("age")) 
  data.show() 
  
  # Output 
  #+-------+---+ 
  #| name|age| 
  #+-------+---+ 
  #|Alberto| 2| 
  #| Dakota| 2| 
  #+-------+---+ 
  

• Tùy chọn 4. Sử dụng sqlContext.sql, cho phép bạn sử dụng các truy vấn SQL trên DataFrames đăng ký dưới dạng bảng.

  sqlContext.registerDataFrameAsTable(data, "myTable") 
  df2 = sqlContext.sql("SELECT Name AS name, askdaosdka as age from myTable") 
  
  df2.show() 
  
  # Output 
  #+-------+---+ 
  #| name|age| 
  #+-------+---+ 
  #|Alberto| 2| 
  #| Dakota| 2| 
  #+-------+---+ 
  

Answer 2

df = df.withColumnRenamed("colName", "newColName").withColumnRenamed("colName2", "newColName2") 

Advantage của việc sử dụng theo cách này: Với danh sách dài các cột mà bạn muốn thay đổi chỉ vài tên cột. Điều này có thể rất thuận tiện trong các tình huống này. Rất hữu ích khi tham gia các bảng có tên cột trùng lặp.

Answer 3

Nếu bạn muốn đổi tên một cột duy nhất và giữ phần còn lại vì nó là:

from pyspark.sql.functions import col 
new_df = old_df.select(*[col(s).alias(new_name) if s == column_to_change else s for s in old_df.columns]) 

Answer 4

Nếu bạn muốn thay đổi tất cả các tên cột, hãy thử df.toDF(*cols)

Answer 5

Đối với một cột duy nhất đổi tên, bạn có thể vẫn sử dụng toDF(). Ví dụ,

df1.selectExpr("SALARY*2").toDF("REVISED_SALARY").show() 

Answer 6

tôi sử dụng cái này:

from pyspark.sql.functions import col 
df.select(['vin',col('timeStamp').alias('Date')]).show()