Spark - scala: trộn RDD/chia RDD thành hai phần ngẫu nhiên ngẫu nhiên

Question

Làm cách nào tôi có thể lấy một mảng tia lửa, và chia thành hai lần ngẫu nhiên để mỗi rdd sẽ bao gồm một phần dữ liệu (cho phép nói 97% và 3 %).

Tôi nghĩ để shuffle danh sách và sau đó shuffledList.take((0.97*rddList.count).toInt)

Nhưng làm thế nào tôi có thể shuffle RDD?

Hoặc có cách nào tốt hơn để tách danh sách không?

Answer 1

Tôi đã tìm thấy một cách đơn giản và nhanh chóng để phân chia các mảng:

val Array(f1,f2) = data.randomSplit(Array(0.97, 0.03)) 

Nó sẽ chia dữ liệu bằng cách sử dụng trọng lượng được cung cấp.

Answer 2

Bạn nên sử dụng randomSplit phương pháp:

def randomSplit(weights: Array[Double], seed: Long = Utils.random.nextLong): Array[RDD[T]] 

// Randomly splits this RDD with the provided weights. 
// weights for splits, will be normalized if they don't sum to 1 
// returns split RDDs in an array 

Đây là nó implementation trong spark 1.0:

def randomSplit(weights: Array[Double], seed: Long = Utils.random.nextLong): Array[RDD[T]] = { 
    val sum = weights.sum 
    val normalizedCumWeights = weights.map(_/sum).scanLeft(0.0d)(_ + _) 
    normalizedCumWeights.sliding(2).map { x => 
     new PartitionwiseSampledRDD[T, T](this, new BernoulliSampler[T](x(0), x(1)),seed) 
    }.toArray 
}