Lấy giá trị tối đa cho mỗi khóa trong Spark RDD

Question

Cách tốt nhất để trả lại hàng tối đa (giá trị) được liên kết với mỗi khóa duy nhất trong RDD tia lửa là gì?

Tôi đang sử dụng python và tôi đã thử Math max, mapping và reduce bằng các phím và tập hợp. Có cách nào hiệu quả để làm việc này không? Có thể là một UDF?

tôi có trong định dạng RDD:

[(v, 3), 
(v, 1), 
(v, 1), 
(w, 7), 
(w, 1), 
(x, 3), 
(y, 1), 
(y, 1), 
(y, 2), 
(y, 3)] 

Và tôi cần phải trả lại:

[(v, 3), 
(w, 7), 
(x, 3), 
(y, 3)] 

Ties có thể trả về giá trị đầu tiên hoặc ngẫu nhiên.

Answer 1

Thực ra bạn có PairRDD. Một trong những cách tốt nhất để làm điều đó là với reduceByKey:

(Scala)

val grouped = rdd.reduceByKey(math.max(_, _)) 

(Python)

grouped = rdd.reduceByKey(max) 

(Java 7)

JavaPairRDD<String, Integer> grouped = new JavaPairRDD(rdd).reduceByKey(
    new Function2<Integer, Integer, Integer>() { 
     public Integer call(Integer v1, Integer v2) { 
      return Math.max(v1, v2); 
    } 
}); 

(Java 8)

JavaPairRDD<String, Integer> grouped = new JavaPairRDD(rdd).reduceByKey(
    (v1, v2) -> Math.max(v1, v2) 
); 

API doc cho reduceByKey:

• Scala
• Python
• Java