Cách chuyển đổi Danh sách thành JavaRDD

Question

Chúng tôi biết rằng trong tia lửa có phương thức rdd.collect chuyển đổi RDD thành danh sách.

List<String> f= rdd.collect(); 
String[] array = f.toArray(new String[f.size()]); 

Tôi đang cố gắng làm chính xác ngược lại trong dự án của mình. Tôi có một ArrayList của String mà tôi muốn chuyển đổi sang JavaRDD. Tôi đang tìm giải pháp này trong một thời gian nhưng không tìm thấy câu trả lời. Ai có thể giúp tôi ở đây không?

Answer 1

Bạn đang tìm kiếm JavaSparkContext.parallelize(List) và tương tự. Điều này cũng giống như trong API Scala.

Answer 2

List<StructField> fields = new ArrayList<>(); 
fields.add(DataTypes.createStructField("fieldx1", DataTypes.StringType, true)); 
fields.add(DataTypes.createStructField("fieldx2", DataTypes.StringType, true)); 
fields.add(DataTypes.createStructField("fieldx3", DataTypes.LongType, true)); 


List<Row> data = new ArrayList<>(); 
data.add(RowFactory.create("","","")); 
Dataset<Row> rawDataSet = spark.createDataFrame(data, schema).toDF(); 

Answer 3

Có hai cách để chuyển đổi bộ sưu tập thành RDD.

1) sc.Parallelize(collection) 
2) sc.makeRDD(collection) 

Cả hai phương pháp này là giống hệt nhau, vì vậy chúng tôi có thể sử dụng bất kỳ trong số họ

Answer 4

Thêm vào Sean Owen và những người khác giải pháp

Bạn có thể sử dụng JavaSparkContext#parallelizePairs cho List của Tuple

List<Tuple2<Integer, Integer>> pairs = new ArrayList<>(); 
pairs.add(new Tuple2<>(0, 5)); 
pairs.add(new Tuple2<>(1, 3)); 

JavaSparkContext sc = new JavaSparkContext(); 

JavaPairRDD<Integer, Integer> rdd = sc.parallelizePairs(pairs);