Tránh bắt đầu HiveThriftServer2 với bối cảnh được tạo lập trình

Question

Chúng tôi đang cố gắng sử dụng Máy chủ ThriftServer để truy vấn dữ liệu từ các bảng tạm thời của tia lửa, trong tia lửa 2.0.0.

Trước tiên, chúng tôi đã tạo sparkSession với Hỗ trợ Hive đã bật. Hiện nay, chúng ta bắt đầu ThriftServer với sqlContext như thế này:

HiveThriftServer2.startWithContext(spark.sqlContext()); 

Chúng tôi có dòng spark với bảng temp đăng ký "spark_temp_table":

StreamingQuery streamingQuery = streamedData.writeStream() 
              .format("memory") 
              .queryName("spark_temp_table") 
              .start(); 

Với beeline chúng tôi có thể nhìn thấy bảng tạm thời (chạy HIỂN THỊ BẢNG);

Khi chúng tôi muốn chạy công việc thứ hai (với tia lửa thứ hai) với cách tiếp cận này, chúng tôi phải bắt đầu Second ThriftServer với cổng khác.

Tôi có hai câu hỏi ở đây:

1. Có cách nào để có một ThriftServer trên một cổng với quyền truy cập vào tất cả các bảng tạm thời trong một sparkSessions khác nhau?

2. HiveThriftServer2.startWithContext(spark.sqlContext()); được chú thích với @DeveloperApi. Có cách nào để bắt đầu máy chủ tiết kiệm với bối cảnh không có trong mã chương trình?
   Tôi thấy có cấu hình --conf spark.sql.hive.thriftServer.singleSession=true được chuyển đến Máy chủ ThriftServer khi khởi động (sbin/start-thriftserver.sh) nhưng tôi không hiểu cách xác định điều này cho công việc. Tôi đã cố gắng thiết lập thuộc tính cấu hình này trong trình xây dựng sparkSession, nhưng beeline không hiển thị các bảng tạm thời.

Answer 1

Có cách nào để có một ThriftServer trên một cổng với quyền truy cập vào tất cả các bảng tạm thời trong một sparkSessions khác nhau?

No. ThriftServer sử dụng các phiên cụ thể và bảng tạm thời chỉ có thể truy cập trong phiên này. Đây là lý do:

beeline không hiển thị bảng tạm thời.

khi bạn khởi động máy chủ độc lập với sbin/start-thriftserver.sh.

spark.sql.hive.thriftServer.singleSession không có nghĩa là bạn nhận được một phiên duy nhất cho nhiều máy chủ. Nó sử dụng cùng một phiên cho tất cả các kết nối đến máy chủ Thrift duy nhất. Trường hợp sử dụng có thể có:

• bạn bắt đầu máy chủ tiết kiệm.
• client1 kết nối với máy chủ này và tạo bảng tạm thời foo.
• client2 kết nối đến máy chủ này và đọc foo