Làm thế nào để xây dựng ClassTag cho Spark SQL DataFrame Mapping?

Question

Truy vấn Spark SQL 1.2.0 trả về JavaRDD. Các truy vấn Spark SQL 1.3.0 trả về DataFrame. Chuyển đổi DataFrame sang JavaRDD bởi DataFrame.toJavaRDD có vẻ mất khá nhiều thời gian. Tôi đã cố gắng sử dụng DataFrame.map() và gặp vấn đề khó hiểu:

DataFrame df = sqlSC.sql(sql); 
RDD<String> rdd = df.map(new AbstractFunction1<Row, String>(){ 

     @Override 
     public String apply(Row t1) { 
      return t1.getString(0); 
     } 


    }, ?); 

"?" nên là scala.reflect.ClassTag. Tôi đã sử dụng ClassManifestFactory.fromClass (String.class) và nó không hoạt động. Tôi nên đặt gì ở "?"

Bằng cách này, ví dụ do http://spark.apache.org/docs/1.3.0/sql-programming-guide.html 's interoperating với RDDs phần Java Mã không được khắc phục: Đó là sử dụng 'bản đồ (Chức năng mới() {' The 'Chức năng' là không thể chấp nhận được ở đó Nó nên.. là "Function1"

Answer 1

Hãy thử điều này:.

RDD<String> rdd = df.map(new AbstractFunction1<Row, String>(){ 

    @Override 
    public String apply(Row t1) { 
     return t1.getString(0); 
    } 

}, ClassManifestFactory$.MODULE$.fromClass(String.class)); 

Answer 2

Hãy thử điều này:

RDD<String> rdd = df.map(new AbstractFunction1<Row, String>(){ 

    @Override 
    public String apply(Row t1) { 
     return t1.getString(0); 
    } 


}, scala.reflect.ClassManifestFactory.fromClass(String.class)); 

Answer 3

thử điều này: (làm việc cho tôi)

RDD<String> rdd = df.toJavaRDD().map(new Function<Row, String>(){ 

@Override 
public String call(Row t1) { 
    return t1.getString(0); 
} 
});