Thêm cột mới vào Khung dữ liệu bắt nguồn từ các cột khác (Spark)

Question

Tôi đang sử dụng Spark 1.3.0 và Python. Tôi có một khung dữ liệu và tôi muốn thêm một cột bổ sung có nguồn gốc từ các cột khác. Như thế này,

>>old_df.columns 
[col_1, col_2, ..., col_m] 

>>new_df.columns 
[col_1, col_2, ..., col_m, col_n] 

nơi

col_n = col_3 - col_4 

Làm thế nào để làm điều này trong PySpark?

Answer 1

Một cách để đạt được điều đó là sử dụng withColumn phương pháp:

old_df = sqlContext.createDataFrame(sc.parallelize(
    [(0, 1), (1, 3), (2, 5)]), ('col_1', 'col_2')) 

new_df = old_df.withColumn('col_n', old_df.col_1 - old_df.col_2) 

Hoặc bạn có thể sử dụng SQL trên một bảng đăng ký:

old_df.registerTempTable('old_df') 
new_df = sqlContext.sql('SELECT *, col_1 - col_2 AS col_n FROM old_df') 

Answer 2

Bên cạnh đó, chúng ta có thể sử dụng udf

from pyspark.sql.functions import udf,col 
from pyspark.sql.types import IntegerType 
from pyspark import SparkContext 
from pyspark.sql import SQLContext 

sc = SparkContext() 
sqlContext = SQLContext(sc) 
old_df = sqlContext.createDataFrame(sc.parallelize(
    [(0, 1), (1, 3), (2, 5)]), ('col_1', 'col_2')) 
function = udf(lambda col1, col2 : col1-col2, IntegerType()) 
new_df = old_df.withColumn('col_n',function(col('col_1'), col('col_2'))) 
new_df.show()