Làm thế nào để so sánh hai cột dataframe và in mà là khác nhau trong scala

Question

Chúng tôi có hai khung dữ liệu ở đây:

các dataframe dự kiến:

+------+---------+--------+----------+-------+--------+ 
|emp_id| emp_city|emp_name| emp_phone|emp_sal|emp_site| 
+------+---------+--------+----------+-------+--------+ 
|  3| Chennai| rahman|9848022330| 45000|SanRamon| 
|  1|Hyderabad|  ram|9848022338| 50000|  SF| 
|  2|Hyderabad| robin|9848022339| 40000|  LA| 
|  4| sanjose| romin|9848022331| 45123|SanRamon| 
+------+---------+--------+----------+-------+--------+ 

và khung dữ liệu thực tế:

+------+---------+--------+----------+-------+--------+ 
|emp_id| emp_city|emp_name| emp_phone|emp_sal|emp_site| 
+------+---------+--------+----------+-------+--------+ 
|  3| Chennai| rahman|9848022330| 45000|SanRamon| 
|  1|Hyderabad|  ram|9848022338| 50000|  SF| 
|  2|Hyderabad| robin|9848022339| 40000|  LA| 
|  4| sanjose| romino|9848022331| 45123|SanRamon| 
+------+---------+--------+----------+-------+--------+ 

sự khác biệt giữa hai khung dữ liệu bây giờ là:

+------+--------+--------+----------+-------+--------+ 
|emp_id|emp_city|emp_name| emp_phone|emp_sal|emp_site| 
+------+--------+--------+----------+-------+--------+ 
|  4| sanjose| romino|9848022331| 45123|SanRamon| 
+------+--------+--------+----------+-------+--------+ 

Chúng tôi đang sử dụng chức năng ngoại trừ df1.except (df2), tuy nhiên vấn đề với điều này là, nó trả về toàn bộ các hàng khác nhau. Những gì chúng ta muốn là xem các cột nào khác nhau trong hàng đó (trong trường hợp này là "romin" và "romino" từ "emp_name" khác nhau). Chúng tôi đã gặp khó khăn to lớn với nó và bất kỳ sự trợ giúp nào cũng sẽ rất tuyệt vời.

Answer 1

Từ kịch bản được mô tả trong câu hỏi trên, có vẻ như sự khác biệt đó phải được tìm thấy giữa các cột chứ không phải các hàng.

Vì vậy, để thực hiện điều đó, chúng tôi cần áp dụng sự khác biệt chọn lọc tại đây, điều này sẽ cung cấp cho chúng tôi các cột có giá trị khác nhau cùng với các giá trị.

Bây giờ, để áp dụng sự khác biệt có chọn lọc, chúng ta phải viết mã một cái gì đó như thế này:

1. Đầu tiên chúng ta cần phải tìm ra các cột trong dataframes mong đợi và thực tế.

   cột val = df1.schema.fields.map (_. Tên)

2. Sau đó, chúng ta phải tìm sự khác biệt theo cột.

   val selectiveDifferences = columns.map (col => df1.select (col) .except (df2.select (col)))

3. Cuối cùng chúng ta cần phải tìm ra các cột chứa các giá trị khác nhau.

   selectiveDifferences.map (diff => {if (diff.count> 0) diff.show})

Và, chúng tôi sẽ chỉ nhận được các cột chứa giá trị khác nhau. Như thế này:

+--------+ 
|emp_name| 
+--------+ 
| romino| 
+--------+ 

Tôi hy vọng điều này sẽ hữu ích!