Cách chuyển đổi org.apache.spark.rdd.RDD [Array [Double]] thành Array [Double] được yêu cầu bởi Spark MLlib

Question

Tôi đang cố triển khai KMeans using Apache Spark.

val data = sc.textFile(irisDatasetString) 
val parsedData = data.map(_.split(',').map(_.toDouble)).cache() 

val clusters = KMeans.train(parsedData,3,numIterations = 20) 

mà tôi nhận được lỗi sau:

error: overloaded method value train with alternatives: 
    (data: org.apache.spark.rdd.RDD[org.apache.spark.mllib.linalg.Vector],k: Int,maxIterations: Int,runs: Int)org.apache.spark.mllib.clustering.KMeansModel <and> 
    (data: org.apache.spark.rdd.RDD[org.apache.spark.mllib.linalg.Vector],k: Int,maxIterations: Int)org.apache.spark.mllib.clustering.KMeansModel <and> 
    (data: org.apache.spark.rdd.RDD[org.apache.spark.mllib.linalg.Vector],k: Int,maxIterations: Int,runs: Int,initializationMode: String)org.apache.spark.mllib.clustering.KMeansModel 
cannot be applied to (org.apache.spark.rdd.RDD[Array[Double]], Int, numIterations: Int) 
     val clusters = KMeans.train(parsedData,3,numIterations = 20) 

vì vậy tôi cố gắng chuyển đổi Array [đúp] để vector như here

scala> val vectorData: Vector = Vectors.dense(parsedData) 

trên mà tôi nhận được lỗi sau:

error: type Vector takes type parameters 
    val vectorData: Vector = Vectors.dense(parsedData) 
       ^
error: overloaded method value dense with alternatives: 
    (values: Array[Double])org.apache.spark.mllib.linalg.Vector <and> 
    (firstValue: Double,otherValues: Double*)org.apache.spark.mllib.linalg.Vector 
cannot be applied to (org.apache.spark.rdd.RDD[Array[Double]]) 
     val vectorData: Vector = Vectors.dense(parsedData) 

Vì vậy, tôi suy luận rằng org.apache.spark.rdd.RDD[Array[Double]] là không giống như Array [đúp]

Làm thế nào tôi có thể tiến hành với dữ liệu của tôi như org.apache.spark.rdd.RDD[Array[Double]]? hoặc làm cách nào để tôi có thể chuyển đổi org.apache.spark.rdd.RDD[Array[Double]] to Array[Double]?

Answer 1

KMeans.train đang mong đợi RDD[Vector] thay vì RDD[Array[Double]]. Dường như với tôi rằng tất cả các bạn cần làm là thay đổi

val parsedData = data.map(_.split(',').map(_.toDouble)).cache() 

để

val parsedData = data.map(x => Vectors.dense(x.split(',').map(_.toDouble))).cache()