Cách tạo DataFrame trống? Tại sao "ValueError: RDD trống"?

Question

Tôi đang cố tạo một khung dữ liệu trống trong Spark (Pyspark).

Tôi đang sử dụng cách tiếp cận tương tự với cách được thảo luận ở đây enter link description here, nhưng nó không hoạt động.

Đây là mã của tôi

df = sqlContext.createDataFrame(sc.emptyRDD(), schema) 

Đây là lỗi

Traceback (most recent call last): 
File "<stdin>", line 1, in <module> 
File "/Users/Me/Desktop/spark-1.5.1-bin-hadoop2.6/python/pyspark/sql/context.py", line 404, in createDataFrame 
rdd, schema = self._createFromRDD(data, schema, samplingRatio) 
File "/Users/Me/Desktop/spark-1.5.1-bin-hadoop2.6/python/pyspark/sql/context.py", line 285, in _createFromRDD 
struct = self._inferSchema(rdd, samplingRatio) 
File "/Users/Me/Desktop/spark-1.5.1-bin-hadoop2.6/python/pyspark/sql/context.py", line 229, in _inferSchema 
first = rdd.first() 
File "/Users/Me/Desktop/spark-1.5.1-bin-hadoop2.6/python/pyspark/rdd.py", line 1320, in first 
raise ValueError("RDD is empty") 
ValueError: RDD is empty 

Answer 1

mở rộng Joe Mở rộng của answer, bạn thực sự có thể tạo giản đồ không có các lĩnh vực như sau:

schema = StructType([]) 

vì vậy khi bạn tạo ra các DataFrame sử dụng đó như giản đồ của bạn, bạn sẽ kết thúc với một DataFrame[].

>>> empty = sqlContext.createDataFrame(sc.emptyRDD(), schema) 
DataFrame[] 
>>> empty.schema 
StructType(List()) 

Trong Scala, nếu bạn chọn để sử dụng sqlContext.emptyDataFrame và kiểm tra các lược đồ, nó sẽ trở lại StructType().

scala> val empty = sqlContext.emptyDataFrame 
empty: org.apache.spark.sql.DataFrame = [] 

scala> empty.schema 
res2: org.apache.spark.sql.types.StructType = StructType()  

Answer 2

Dataframes phải có một giản đồ.

from pyspark.sql.types import * 
field = [StructField("field1", StringType(), True)] 
schema = StructType(field) 

sqlContext.createDataFrame(sc.emptyRDD(), schema) 

Answer 3

Bạn có thể làm điều đó bằng cách tải một tập tin rỗng (parquet, json etc.) giống như này:

df = sqlContext.read.json("my_empty_file.json") 

Sau đó, khi bạn cố gắng để kiểm tra sơ đồ bạn sẽ thấy:

>>> df.printSchema() 
root 

Trong Scala/Java không đi qua một đường dẫn cũng nên làm việc, trong Python nó ném một ngoại lệ. Ngoài ra nếu bạn chuyển sang Scala/Python, bạn có thể sử dụng this method để tạo một.

Answer 4

này sẽ làm việc với phiên bản spark 2.0.0 trở lên

from pyspark.sql import SQLContext 
sc = spark.sparkContext 
schema = StructType([StructField('col1', StringType(), False),StructField('col2', IntegerType(), True)]) 
sqlContext.createDataFrame(sc.emptyRDD(), schema)