Sự khác nhau giữa tiêu diệt() và unpersist() là gì?

Question

Spark được gửi cùng với các Biến phát sóng, cho phép chúng tôi giữ một biến chỉ đọc được lưu trong bộ nhớ cache trên mỗi máy thay vì gửi bản sao của nó bằng các tác vụ.

Tất nhiên, khi "biến phát sóng" sẽ không được sử dụng nữa, việc xóa biến này là điều tự nhiên. Nhưng from the documentation, có vẻ như rằng có hai cách để xóa biến phát sóng Mà là:

unpersist() //Destroy all data and metadata related to this broadcast variable. 
destroy() //Asynchronously delete cached copies of this broadcast on the executors. 

Tôi không chắc chắn để undestand đúng tất cả mọi thứ, không unpersist() không giống như xóa() nhưng đồng bộ? Điều này là không rõ ràng đối với tôi.

Answer 1

Vì nó được thực hiện trong hai ngôn ngữ này hiện có sẵn bê tông (HttpBroadcast và TorrentBroadacst) có hai sự khác biệt:

• unpersist chặn (awaits for confirmation) trong khi destroy là non-blocking
• destroy để loại bỏ việc vẫn kiên trì khối từ số driver trong khi unpersist không

Otherwis e chúng sử dụng cùng một logic của BlockMangerMaster.