PySpark phát các biến từ các chức năng cục bộ

Question

Tôi đang cố tạo các biến phát sóng từ bên trong các phương thức Python (cố gắng trừu tượng một số phương thức tiện ích mà tôi đang tạo dựa vào các hoạt động phân tán). Tuy nhiên, tôi dường như không thể truy cập các biến phát sóng từ bên trong công nhân Spark.

Hãy nói rằng tôi đã thiết lập này:

def main(): 
    sc = SparkContext() 
    SomeMethod(sc) 

def SomeMethod(sc): 
    someValue = rand() 
    V = sc.broadcast(someValue) 
    A = sc.parallelize().map(worker) 

def worker(element): 
    element *= V.value ### NameError: global name 'V' is not defined ### 

Tuy nhiên, nếu tôi thay vì loại bỏ SomeMethod() trung gian, nó hoạt động tốt.

def main(): 
    sc = SparkContext() 
    someValue = rand() 
    V = sc.broadcast(someValue) 
    A = sc.parallelize().map(worker) 

def worker(element): 
    element *= V.value # works just fine 

Tôi không muốn đặt tất cả logic Spark của mình theo phương pháp chính, nếu có thể. Có cách nào để phát các biến từ bên trong các hàm cục bộ và để chúng có thể hiển thị trên toàn cầu đối với các nhân viên Spark không?

Cách khác, mẫu thiết kế tốt cho loại tình huống này - ví dụ: tôi muốn viết một phương pháp đặc biệt cho Spark là khép kín và thực hiện một chức năng cụ thể mà tôi muốn sử dụng lại?

Answer 1

Tôi không chắc chắn tôi hoàn toàn hiểu câu hỏi nhưng, nếu bạn cần V đối tượng bên trong hàm nhân bạn sau đó bạn chắc chắn nên vượt qua nó như một tham số, nếu không phương pháp này là không thực sự khép kín:

def worker(V, element): 
    element *= V.value 

Bây giờ để sử dụng nó trong các chức năng bản đồ mà bạn cần phải sử dụng một phần, vì vậy bản đồ mà chỉ nhìn thấy một hàm 1 tham số:

from functools import partial 

def SomeMethod(sc): 
    someValue = rand() 
    V = sc.broadcast(someValue) 
    A = sc.parallelize().map(partial(worker, V=V))