phương pháp thiết lập và dọn dẹp của Trình ánh xạ/Giảm tốc trong Hadoop MapReduce

Question

Các phương pháp thiết lập và dọn dẹp có được gọi là trong mỗi tác vụ lập bản đồ và giảm tốc tương ứng không? Hay họ chỉ được gọi một lần khi bắt đầu công việc lập bản đồ và giảm tốc tổng thể?

Answer 1

Chúng được gọi cho mỗi tác vụ, vì vậy nếu bạn có 20 người lập bản đồ đang chạy, thiết lập/dọn dẹp sẽ được gọi cho từng công việc.

One gotcha là phương pháp chạy chuẩn cho cả Mapper và Reducer không bắt ngoại lệ xung quanh các phương pháp giảm/giảm bản đồ - vì vậy nếu ngoại lệ được ném vào các phương pháp này, phương pháp dọn dẹp sẽ không được gọi.

Answer 2

Một cách làm rõ là hữu ích. Các phương pháp thiết lập/dọn dẹp được sử dụng để khởi tạo và làm sạch ở cấp nhiệm vụ. Trong một nhiệm vụ, khởi tạo đầu tiên xảy ra với một cuộc gọi đến phương thức setup() và sau đó tất cả các cuộc gọi đến hàm map() [hoặc reduce()] sẽ được thực hiện. Sau đó, một cuộc gọi khác sẽ được thực hiện cho phương thức cleanup() trước khi thoát khỏi nhiệm vụ.

Answer 3

Nó được gọi là nhiệm vụ Mapper hoặc Tác vụ giảm tốc. Đây là mã hadoop.

public void run(Context context) throws IOException, InterruptedException { 
    setup(context); 
    try { 
     while (context.nextKey()) { 
     reduce(context.getCurrentKey(), context.getValues(), context); 
     } 
    } finally { 
     cleanup(context); 
    } 
    } 

Answer 4

Theo mapreduce documentation thiết lập và dọn dẹp được gọi là cho mỗi Mapper, nhiệm vụ giảm tốc.

Answer 5

trên bộ giảm tốc bạn có thể thực hiện công việc. JobNsetReduceTasks (1); và theo cách đó, việc thiết lập và dọn dẹp bộ giảm tốc sẽ chỉ chạy một lần.