2.0.x Spark đổ một tập tin csv từ một dataframe chứa một mảng kiểu string

Question

Tôi có một dataframe df có chứa một cột kiểu mảng

df.show() trông giống như

|ID|ArrayOfString|Age|Gender| 
+--+-------------+---+------+ 
|1 | [A,B,D]  |22 | F | 
|2 | [A,Y]  |42 | M | 
|3 | [X]   |60 | F | 
+--+-------------+---+------+ 

tôi cố gắng để đổ rằng df trong một tập tin csv như sau:

val dumpCSV = df.write.csv(path="/home/me/saveDF") 

Nó không phải là làm việc vì của cột ArrayOfString. Tôi gặp lỗi:

CSV data source does not support array string data type

Mã hoạt động nếu tôi xóa cột ArrayOfString. Nhưng tôi cần giữ ArrayOfString!

Điều gì sẽ là cách tốt nhất để đổ dataframe csv bao gồm cột ArrayOfString (ArrayOfString nên được đổ như một cột vào file CSV)

Answer 1

Hãy thử:

val stringify = udf((vs: Seq[String]) => s"""[${vs.mkString(",")}]""") 

df.withColumn("ArrayOfString", stringify($"ArrayOfString")).write.csv(...) 

Answer 2

Pyspark thực hiện:

Trong ví dụ này, thay đổi trường column_as_array thành column_as_string trước khi lưu.

from pyspark.sql.functions import udf 
from pyspark.sql.types import StringType 

def array_to_string(my_list): 
    return '[' + ','.join([str(elem) for elem in my_list]) + ']' 

array_to_string_udf = udf(array_to_string,StringType()) 

df = df.withColumn('column_as_str',array_to_string_udf(d["column_as_array"])) 

Sau đó, bạn có thể thả cột cũ (loại mảng) trước khi lưu.

df.drop("column_as_array").write.csv(...) 

Answer 3

CSV không phải là định dạng xuất lý tưởng, nhưng nếu bạn chỉ muốn kiểm tra trực quan dữ liệu, điều này sẽ hoạt động [Scala]. Giải pháp nhanh và bẩn.

case class example (id: String, ArrayOfString: String, Age: String, Gender: String) 

df.rdd.map{line => example(line(0).toString, line(1).toString, line(2).toString , line(3).toString) }.toDF.write.csv("/tmp/example.csv")