Thêm cột trống để kích hoạt DataFrame

Question

Như đã đề cập trong manyother locations trên web, việc thêm cột mới vào Khung dữ liệu hiện tại không đơn giản. Thật không may, điều quan trọng là phải có chức năng này (mặc dù nó không hiệu quả trong môi trường phân tán) đặc biệt khi cố gắng nối hai số DataFrame s bằng cách sử dụng unionAll.

Cách giải quyết thanh lịch nhất để thêm cột null vào DataFrame để tạo điều kiện cho unionAll?

phiên bản của tôi đi như thế này:

from pyspark.sql.types import StringType 
from pyspark.sql.functions import UserDefinedFunction 
to_none = UserDefinedFunction(lambda x: None, StringType()) 
new_df = old_df.withColumn('new_column', to_none(df_old['any_col_from_old'])) 

Answer 1

Tất cả bạn cần ở đây là một chữ và dàn diễn viên:

from pyspark.sql.functions import lit 

new_df = old_df.withColumn('new_column', lit(None).cast(StringType())) 

Một ví dụ đầy đủ:

df = sc.parallelize([row(1, "2"), row(2, "3")]).toDF() 
df.printSchema() 

## root 
## |-- foo: long (nullable = true) 
## |-- bar: string (nullable = true) 

new_df = df.withColumn('new_column', lit(None).cast(StringType())) 
new_df.printSchema() 

## root 
## |-- foo: long (nullable = true) 
## |-- bar: string (nullable = true) 
## |-- new_column: string (nullable = true) 

new_df.show() 

## +---+---+----------+ 
## |foo|bar|new_column| 
## +---+---+----------+ 
## | 1| 2|  null| 
## | 2| 3|  null| 
## +---+---+----------+ 

Một Scala tương đương có thể tìm thấy ở đây: Create new Dataframe with empty/null field values

Answer 2

Tôi sẽ thắp sáng (Không) cho NullType thay vì StringType. Vì vậy, nếu chúng ta phải lọc ra không phải hàng trống trên cột đó ... nó có thể dễ dàng thực hiện như sau

df = sc.parallelize([Row(1, "2"), Row(2, "3")]).toDF() 

new_df = df.withColumn('new_column', lit(None).cast(NullType())) 

new_df.printSchema() 

df_null = new_df.filter(col("new_column").isNull()).show() 
df_non_null = new_df.filter(col("new_column").isNotNull()).show() 

Cũng nên cẩn thận khi không sử dụng đèn ("Không") (có dấu ngoặc kép) nếu bạn đang đúc thành StringType vì nó sẽ thất bại khi tìm kiếm các bản ghi có điều kiện lọc .isNull() trên col ("new_column").