làm cách nào để xuất khung dữ liệu bảng trong pyspark sang csv?

Question

Tôi đang sử dụng spark-1.3.1 (pyspark) và tôi đã tạo một bảng bằng truy vấn SQL. Bây giờ tôi có một đối tượng là một DataFrame. Tôi muốn xuất khẩu đối tượng DataFrame này (tôi đã gọi nó là "bảng") vào một tệp csv để tôi có thể thao tác và vẽ các cột. Làm cách nào để xuất bảng DataFrame "" sang tệp csv?

Cảm ơn!

Answer 1

Nếu khung dữ liệu phù hợp trong một bộ nhớ điều khiển và bạn muốn lưu vào hệ thống tập tin địa phương, bạn có thể chuyển đổi Spark DataFrame đến địa phương Pandas DataFrame sử dụng toPandas phương pháp và sau đó chỉ cần sử dụng to_csv:

df.toPandas().to_csv('mycsv.csv') 

Nếu không, bạn có thể sử dụng spark-csv:

• Spark 1,3

  df.save('mycsv.csv', 'com.databricks.spark.csv') 
  

• Spark 1.4+

  df.write.format('com.databricks.spark.csv').save('mycsv.csv') 
  

Trong Spark 2.0+ bạn có thể sử dụng csv nguồn dữ liệu trực tiếp:

df.write.csv('mycsv.csv') 

Answer 2

Nếu bạn không thể sử dụng tia lửa-csv, bạn có thể làm như sau:

df.rdd.map(lambda x: ",".join(map(str, x))).coalesce(1).saveAsTextFile("file.csv") 

Nếu bạn cần xử lý chuỗi dấu ngắt dòng hoặc dấu phẩy sẽ không hoạt động. Sử dụng điều này:

import csv 
import cStringIO 

def row2csv(row): 
    buffer = cStringIO.StringIO() 
    writer = csv.writer(buffer) 
    writer.writerow([str(s).encode("utf-8") for s in row]) 
    buffer.seek(0) 
    return buffer.read().strip() 

df.rdd.map(row2csv).coalesce(1).saveAsTextFile("file.csv") 

Answer 3

Làm thế nào về điều này (bạn không muốn một lớp lót)?

for row in df.collect(): 
    d = row.asDict() 
    s = "%d\t%s\t%s\n" % (d["int_column"], d["string_column"], d["string_column"]) 
    f.write(s) 

f là bộ mô tả tệp đã mở. Ngoài ra dấu phân cách là một TAB char, nhưng nó dễ dàng để thay đổi bất cứ điều gì bạn muốn.

Answer 4

Đối với Apache Spark 2+, để lưu khung dữ liệu vào tệp csv duy nhất. Sử dụng lệnh sau

query.repartition(1).write.csv("cc_out.csv", sep='|') 

Ở đây 1 chỉ ra rằng tôi chỉ cần một phân vùng csv. bạn có thể thay đổi nó theo yêu cầu của bạn.