Cách tạo SparkSession từ SparkContext hiện tại

Question

Tôi có ứng dụng Spark sử dụng API mới 2.0 Spark với SparkSession. Tôi đang xây dựng ứng dụng này trên đầu trang của một ứng dụng khác đang sử dụng SparkContext. Tôi muốn vượt qua SparkContext vào đơn đăng ký của mình và khởi tạo SparkSession bằng cách sử dụng SparkContext hiện có.

Tuy nhiên, tôi không thể tìm ra cách để thực hiện điều đó. Tôi thấy rằng một nhà xây dựng SparkSession với SparkContext là riêng tư nên tôi không thể khởi tạo nó theo cách đó và người xây dựng không cung cấp bất kỳ phương thức setSparkContext nào. Bạn có nghĩ rằng có tồn tại một số cách giải quyết?

Answer 1

Dường như không có cách nào để khởi tạo SparkSession từ số SparkContext hiện tại.

Answer 2

public JavaSparkContext getSparkContext() 
{ 
     SparkConf conf = new SparkConf() 
        .setAppName("appName") 
        .setMaster("local[*]"); 
     JavaSparkContext jsc = new JavaSparkContext(conf); 
     return jsc; 
} 


public SparkSession getSparkSession() 
{ 
     sparkSession= new SparkSession(getSparkContext().sc()); 
     return sparkSession; 
} 


you can also try using builder 

public SparkSession getSparkSession() 
{ 
     SparkConf conf = new SparkConf() 
         .setAppName("appName") 
         .setMaster("local"); 

     SparkSession sparkSession = SparkSession 
            .builder() 
            .config(conf) 
            .getOrCreate(); 
     return sparkSession; 
} 

Answer 3

Giống như trong ví dụ trên bạn không thể tạo vì constructor SparkSession 's là tin Thay vào đó bạn có thể tạo một SQLContext sử dụng SparkContext, và sau đó nhận được sparksession từ sqlcontext như thế này

val sqlContext=new SQLContext(sparkContext); 
val spark=sqlContext.sparkSession 

Hy vọng điều này sẽ giúp

Answer 4

Bạn sẽ nhận thấy rằng chúng tôi đang sử dụng SparkSession và SparkContext và đây không phải là lỗi. Hãy xem lại các biên niên sử của lịch sử Spark cho một quan điểm. Điều quan trọng là phải hiểu chúng tôi đến từ đâu, vì bạn sẽ nghe về những vật thể kết nối này trong một thời gian tới.

Trước Spark 2.0.0, ba đối tượng kết nối chính là SparkContext, SqlContext và HiveContext. Đối tượng SparkContext là kết nối đến môi trường thực thi Spark và tạo RDD và các ngôn ngữ khác, SQLContext đã làm việc với SparkSQL trong nền của SparkContext và HiveContext tương tác với các cửa hàng Hive.

Spark 2.0.0 giới thiệu Tập dữ liệu/DataFrames làm giao diện trừu tượng hóa dữ liệu được phân phối chính và đối tượng SparkSession làm điểm vào cho môi trường thực thi Spark. Một cách thích hợp, đối tượng SparkSession được tìm thấy trong không gian tên, org.apache.spark.sql.SparkSession (Scala), hoặc pyspark.sql.sparkSession. Một vài điểm cần lưu ý như sau:

Trong Scala và Java, Tập dữ liệu tạo thành trừu tượng dữ liệu chính dưới dạng dữ liệu đã nhập; Tuy nhiên, đối với Python và R (mà không cần phải biên dịch kiểm tra kiểu thời gian), dữ liệu ...

https://www.packtpub.com/mapt/book/big_data_and_business_intelligence/9781785889271/4/ch04lvl1sec31/sparksession-versus-sparkcontext