Spark SQL - Cách viết DataFrame vào tệp văn bản?

Question

Tôi đang sử dụng Spark SQL để đọc sách lát gỗ và viết.

Nhưng một số trường hợp, tôi cần phải viết DataFrame làm tệp văn bản thay vì Json hoặc Parquet.

Có phương pháp mặc định nào được hỗ trợ hoặc tôi phải chuyển đổi DataFrame đó thành RDD sau đó sử dụng phương thức saveAsTextFile() không?

Answer 1

Sử dụng Databricks Spark-CSV bạn có thể lưu trực tiếp vào một tập tin CSV và tải từ một tập tin CSV sau đó như thế này

import org.apache.spark.sql.SQLContext 

SQLContext sqlContext = new SQLContext(sc); 
DataFrame df = sqlContext.read() 
    .format("com.databricks.spark.csv") 
    .option("inferSchema", "true") 
    .option("header", "true") 
    .load("cars.csv"); 

df.select("year", "model").write() 
    .format("com.databricks.spark.csv") 
    .option("header", "true") 
    .option("codec", "org.apache.hadoop.io.compress.GzipCodec") 
    .save("newcars.csv");