Bộ lọc tia lửa DataFrame trên chuỗi chứa

Question

Tôi đang sử dụng Spark 1.3.0 và Spark Avro 1.0.0. Tôi đang làm việc từ the example on the repository page. Mã sau đây hoạt động tốt

val df = sqlContext.read.avro("src/test/resources/episodes.avro") 
df.filter("doctor > 5").write.avro("/tmp/output") 

Nhưng nếu tôi cần xem chuỗi doctor có chứa chuỗi con không? Vì chúng ta đang viết biểu thức của chúng ta bên trong một chuỗi. Tôi phải làm gì để thực hiện "chứa"?

Answer 1

Bạn có thể sử dụng contains (chỉ hoạt động này với một chuỗi tùy ý):

df.filter($"foo".contains("bar")) 

like (SQL như với SQL biểu thức chính quy đơn giản whith _ phù hợp với một nhân vật độc đoán và % phù hợp với một chuỗi tùy ý):

df.filter($"foo".like("bar")) 

hoặc rlike (như với Java regular expressions):

df.filter($"foo".rlike("bar")) 

tùy theo yêu cầu của bạn. LIKE và RLIKE cũng hoạt động với các biểu thức SQL.