Apache Spark: Làm cách nào để chuyển đổi một khung dữ liệu Spark thành RDD với loại RDD [(Type1, Type2, ...)]?

Question

Ví dụ, giả sử tôi có DataFrame:

var myDF = sc.parallelize(Seq(("one",1),("two",2),("three",3))).toDF("a", "b") 

tôi có thể chuyển nó sang một RDD[(String, Int)] với một bản đồ:

var myRDD = myDF.map(r => (r(0).asInstanceOf[String], r(1).asInstanceOf[Int])) 

Có cách nào tốt hơn để làm điều này, có thể sử dụng sơ đồ DF ?

Answer 1

Sử dụng phù hợp với mô hình trên :

import org.apache.spark.sql.Row 

myDF.map{case Row(a: String, b: Int) => (a, b)} 

Trong Spark 1.6 + bạn có thể sử dụng Dataset như sau:

myDF.as[(String, Int)].rdd