sao chép các dấu gạch ngang tia lửa và giữ đầu tiên

Question

Câu hỏi: trong gấu trúc khi thả trùng lặp, bạn có thể chỉ định cột cần giữ. Có tương đương trong Spark Dataframes không?

Pandas:

df.sort_values('actual_datetime', ascending=False).drop_duplicates(subset=['scheduled_datetime', 'flt_flightnumber'], keep='first') 

Spark dataframe (tôi sử dụng Spark 1.6.0) không có tùy chọn giữ

df.orderBy(['actual_datetime']).dropDuplicates(subset=['scheduled_datetime', 'flt_flightnumber']) 

Imagine 'scheduled_datetime' và 'flt_flightnumber' là cột 6, 17 . Bằng cách tạo phím dựa trên các giá trị của các cột này chúng ta cũng có thể deduplicate

def get_key(x): 
    return "{0}{1}".format(x[6],x[17]) 

df= df.map(lambda x: (get_key(x),x)).reduceByKey(lambda x,y: (x)) 

nhưng làm thế nào để xác định để giữ hàng đầu tiên và thoát khỏi các bản sao khác? Còn hàng cuối cùng thì sao?

Answer 1

sử dụng dropDuplicates phương pháp theo mặc định nó giữ sự xuất hiện đầu tiên