pySpark Tạo DataFrame từ RDD bằng Khóa/Giá trị

Question

Nếu tôi có RDD của Khóa/Giá trị (khóa là chỉ mục cột) có thể tải nó vào một khung dữ liệu không? Ví dụ:

(0,1), (0,1), (0,2), (1,2), (1,10), (1,20), (3,18), (3,18), (3,18) 

Và có cái nhìn dataframe như:

1,2,18 
1,10,18 
2,20,18 

Answer 1

Có nó có thể (thử nghiệm với Spark 1.3.1):

>>> rdd = sc.parallelize([(0,1), (0,1), (0,2), (1,2), (1,10), (1,20), (3,18), (3,18), (3,18)]) 
>>> sqlContext.createDataFrame(rdd, ["id", "score"]) 
Out[2]: DataFrame[id: bigint, score: bigint] 

Answer 2

rdd = sc.parallelize([(0,1), (0,1), (0,2), (1,2), (1,10), (1,20), (3,18), (3,18), (3,18)]) 

df=rdd.toDF(['id','score']) 

df.show() 

Câu trả lời là:

+---+-----+ 
| id|score| 
+---+-----+ 
| 0| 1| 
| 0| 1| 
| 0| 2| 
| 1| 2| 
| 1| 10| 
| 1| 20| 
| 3| 18| 
| 3| 18| 
| 3| 18| 
+---+-----+