Làm thế nào để kiểm tra xem Spark RDD có trong bộ nhớ không?

Question

Tôi có một phiên bản của org.apache.spark.rdd.RDD [MyClass]. Làm thế nào tôi có thể kiểm tra theo chương trình nếu cá thể tồn tại \ inmemory?

Answer 1

Bạn muốn RDD.getStorageLevel. Nó sẽ trả lại StorageLevel.None nếu trống. Tuy nhiên đó chỉ là nếu nó được đánh dấu cho bộ nhớ đệm hay không. Nếu bạn muốn tình trạng thực tế mà bạn có thể sử dụng api phát triển sc.getRDDStorageInfo hoặc sc.getPersistentRDD

Answer 2

Bạn có thể gọi rdd.getStorageLevel.useMemory để kiểm tra xem nó là trong bộ nhớ hay không như sau:

scala> myrdd.getStorageLevel.useMemory 
res3: Boolean = false 

scala> myrdd.cache() 
res4: myrdd.type = MapPartitionsRDD[2] at filter at <console>:29 

scala> myrdd.getStorageLevel.useMemory 
res5: Boolean = true