Tham gia hai DataFrames trong Spark SQL và chọn các cột chỉ có một

Question

Tôi có hai DataFrames trong Spark SQL (D1 và D2 ​​).

Tôi đang cố gắng tham gia cả hai người trong số họ D1.join(D2, "some column") và lấy lại dữ liệu của chỉ D1, không phải bộ dữ liệu hoàn chỉnh.

Cả D1 và D2 ​​đều có cùng cột.

Có thể ai đó giúp tôi về điều này không?

Tôi đang sử dụng Spark 1.6.

Answer 1

Giả sử bạn muốn tham gia vào cột "id". Sau đó, bạn có thể viết:

val sqlContext = new org.apache.spark.sql.SQLContext(sc) 
import sqlContext.implicits._  
d1.as("d1").join(d2.as("d2"), $"d1.id" === $"d2.id").select($"d1.*") 

Answer 2

Như một câu trả lời khác, bạn cũng có thể làm như sau mà không bí danh thêm:

d1.join(d2, d1("id") === d2("id")) 
    .select(d1.columns.map(c => d1(c)): _*)