Làm cách nào để sử dụng chỉ mục Spark ORC?

Question

Tùy chọn để bật lập chỉ mục orc từ tia lửa là gì?

  df 
      .write() 
      .option("mode", "DROPMALFORMED") 
      .option("compression", "snappy") 
      .mode("overwrite") 
      .format("orc") 
      .option("index", "user_id") 
      .save(...); 

Tôi đang tạo thành .option("index", uid), tôi sẽ phải đặt gì vào cột chỉ mục "user_id" từ orc.

Answer 1

Bạn đã thử: .partitionBy("user_id")?

df 
     .write() 
     .option("mode", "DROPMALFORMED") 
     .option("compression", "snappy") 
     .mode("overwrite") 
     .format("orc") 
     .partitionBy("user_id") 
     .save(...)