Lưu biểu dữ liệu Spark dưới dạng bảng được phân đoạn động trong Hive

Question

Tôi có một ứng dụng mẫu làm việc để đọc từ tệp csv vào một khung dữ liệu. Bạn có thể lưu dataframe vào bảng Hive ở định dạng sàn bằng cách sử dụng phương thức df.saveAsTable(tablename,mode).

Mã trên hoạt động tốt, nhưng tôi có quá nhiều dữ liệu cho mỗi ngày mà tôi muốn phân vùng động bảng hive dựa trên creationdate (cột trong bảng).

là có bất kỳ cách nào để phân vùng động các khung dữ liệu và lưu trữ nó vào kho lưu trữ. Bạn muốn kiềm chế Cố định mã lệnh chèn cứng bằng cách sử dụng hivesqlcontext.sql(insert into table partittioin by(date)....).

Câu hỏi có thể được coi như một phần mở rộng để: How to save DataFrame directly to Hive?

bất kỳ giúp đỡ được nhiều đánh giá cao.

Answer 1

Tôi tin rằng nó hoạt động một cái gì đó như thế này:

df là một dataframe với năm, tháng và các cột khác

df.write.partitionBy('year', 'month').saveAsTable(...) 

hoặc

df.write.partitionBy('year', 'month').insertInto(...) 

Answer 2

tôi đã có thể viết thư cho tổ ong phân vùng bảng sử dụng df.write().mode(SaveMode.Append).partitionBy("colname").saveAsTable("Table")

Tôi phải bật tính năng này llowing tài sản để làm cho nó hoạt động.

 
hiveContext.setConf("hive.exec.dynamic.partition", "true") 
hiveContext.setConf("hive.exec.dynamic.partition.mode", "nonstrict") 

Answer 3

Tôi cũng phải đối mặt với điều tương tự nhưng sử dụng các thủ thuật sau đây mà tôi đã giải quyết.

1. Khi chúng tôi Thực hiện bất kỳ bảng nào làm cột phân đoạn rồi phân đoạn trở thành phân biệt chữ hoa chữ thường.

2. Cột được phân đoạn phải có trong DataFrame có cùng tên (phân biệt chữ hoa chữ thường). Mã số:

   var dbName="your database name" 
   var finaltable="your table name" 
   
   // First check if table is available or not.. 
   if (sparkSession.sql("show tables in " + dbName).filter("tableName='" +finaltable + "'").collect().length == 0) { 
       //If table is not available then it will create for you.. 
       println("Table Not Present \n Creating table " + finaltable) 
       sparkSession.sql("use Database_Name") 
       sparkSession.sql("SET hive.exec.dynamic.partition = true") 
       sparkSession.sql("SET hive.exec.dynamic.partition.mode = nonstrict ") 
       sparkSession.sql("SET hive.exec.max.dynamic.partitions.pernode = 400") 
       sparkSession.sql("create table " + dbName +"." + finaltable + "(EMP_ID  string,EMP_Name   string,EMP_Address    string,EMP_Salary bigint) PARTITIONED BY (EMP_DEP STRING)") 
       //Table is created now insert the DataFrame in append Mode 
       df.write.mode(SaveMode.Append).insertInto(empDB + "." + finaltable) 
   }