Bộ nhớ cache Spark RDD sẽ đi bao xa?

Question

Nói rằng tôi có ba RDD chức năng chuyển kêu gọi rdd1:

def rdd2 = rdd1.f1 
def rdd3 = rdd2.f2 
def rdd4 = rdd3.f3 

Bây giờ tôi muốn bộ nhớ cache rdd4, vì vậy tôi gọi rdd4.cache().

Câu hỏi của tôi:

sẽ chỉ là kết quả từ hành động trên rdd4 được lưu trữ hoặc mỗi RDD trên rdd4 sẽ được lưu trữ? Giả sử tôi muốn lưu bộ nhớ cache cả hai rdd3 và rdd4, tôi có cần lưu chúng vào bộ nhớ cache riêng không?

Answer 1

Toàn bộ ý tưởng về bộ nhớ cache là tia lửa không giữ kết quả trong bộ nhớ trừ khi bạn yêu cầu. Vì vậy, nếu bạn lưu bộ nhớ cache RDD cuối cùng trong chuỗi nó chỉ giữ kết quả của một trong bộ nhớ. Vì vậy, có, bạn cần bộ nhớ cache một cách riêng biệt, nhưng hãy nhớ bạn chỉ cần bộ nhớ cache một RDD nếu bạn đang sử dụng nó nhiều hơn một lần, ví dụ:

rdd4.cache() 
val v1 = rdd4.lookup("key1") 
val v2 = rdd4.lookup("key2") 

Nếu bạn không gọi bộ nhớ cache trong trường hợp này rdd4 sẽ được tính toán lại cho mọi cuộc gọi tra cứu (hoặc bất kỳ hàm nào khác yêu cầu đánh giá). Bạn có thể muốn đọc paper on RDD's nó khá dễ hiểu và giải thích các ý tưởng đằng sau những lựa chọn nhất định mà họ đã thực hiện liên quan đến công việc của RDD như thế nào.