thu thập RDD với bộ đệm trong pyspark

Question

Tôi muốn một cách để trả về các hàng từ RDD của tôi tại một thời điểm (hoặc theo lô nhỏ) để tôi có thể thu thập các hàng cục bộ khi tôi cần chúng. RDD của tôi đủ lớn để nó không thể khớp với bộ nhớ trên nút tên, do đó, chạy collect() sẽ gây ra lỗi.

Có cách nào để tạo lại hoạt động collect() nhưng với trình tạo, để các hàng từ RDD được chuyển vào bộ đệm không? Một tùy chọn khác sẽ là take() 100000 hàng cùng một lúc từ RDD được lưu trong bộ nhớ cache, nhưng tôi không nghĩ rằng take() cho phép bạn chỉ định vị trí bắt đầu?

Answer 1

Tùy chọn có sẵn tốt nhất là sử dụng RDD.toLocalIterator chỉ thu thập một phân vùng duy nhất tại thời điểm đó. Nó tạo trình tạo Python chuẩn:

rdd = sc.parallelize(range(100000)) 
iterator = rdd.toLocalIterator() 
type(iterator) 

## generator 

even = (x for x in iterator if not x % 2) 

Bạn có thể điều chỉnh lượng dữ liệu được thu thập trong một đợt bằng cách sử dụng phân vùng cụ thể và điều chỉnh một số phân vùng.

Thật không may, nó đi kèm với một mức giá. Để thu thập các lô nhỏ, bạn phải bắt đầu nhiều công việc Spark và nó khá tốn kém. Vì vậy, nói chung thu thập một yếu tố vào thời điểm đó không phải là một lựa chọn.