Cái nào nhanh hơn? Spark SQL với mệnh đề Where hoặc Use of Filter trong Dataframe sau khi Spark SQL

Question

Cái nào nhanh hơn? Spark SQL với mệnh đề Where hoặc Use of Filter trong Dataframe sau khi Spark SQL?

Giống như Chọn col1, col2 từ tab 1, nơi col1 = val;

Hoặc

dataframe df = sqlContext.sql (Chọn col1, col2 từ tab 1);

df.filter ("Col1 = Val");

Answer 1

Sử dụng phương pháp explain để xem gói vật lý là một cách hay để xác định hiệu suất.

Ví dụ: sổ ghi chép hướng dẫn Zeppelin.

sqlContext.sql("select age, job from bank").filter("age = 30").explain 

Và

sqlContext.sql("select age, job from bank where age = 30").explain 

Có chính xác kế hoạch vật lý như nhau.

== Physical Plan == 
Project [age#5,job#6] 
+- Filter (age#5 = 30) 
    +- Scan ExistingRDD[age#5,job#6,marital#7,education#8,balance#9] 

Vì vậy, hiệu suất phải giống nhau.

Thông qua tôi nghĩ rằng select age, job from bank where age = 30 dễ đọc hơn trong trường hợp này.