Trong khi chạy công việc hadoop trên mã giả, nhiệm vụ không thành công và bị giết. Lỗi: Tác vụ cố gắng_ không báo cáo trạng thái trong 601 giâyCông việc Hadoop: Tác vụ không báo cáo trạng thái trong 601 giây
Nhưng cùng một chương trình đang chạy qua Eclipse (công việc địa phương).
Nhiệm vụ: có khoảng 25K từ khóa, đầu ra sẽ được tất cả sự kết hợp có thể (hai tại một thời điểm) tức là khoảng 25K * 25K entires
gì có thể vấn đề này?
Vì lý do nào đó tác vụ, khi được thực hiện trên mã giả của bạn, sẽ không tiến triển. Bạn có thể tăng cài đặt "mapred.task.timeout" trong mapred-site.xml. Giá trị mặc định của cùng một trong mapred-default.xml là:
<property>
<name>mapred.task.timeout</name>
<value>600000</value>
<description>The number of milliseconds before a task will be
terminated if it neither reads an input, writes
an output, nor updates its status string.
</description>
</property>
Đối với mục đích thử nghiệm/một công việc thời gian hoặc gỡ lỗi thặng dư giá trị time-out có thể là một lựa chọn tốt, nhưng khi thực hành cho thấy điều này không phải là giải pháp tốt cho sản xuất, bạn nên xem xét và tối ưu hóa mã.
Hadoop Cung cấp API báo cáo cho tương tự. Nếu bạn không báo cáo tiến độ cho công việc hadoop trong 10 phút đó là 600 giây, nó xem xét nhiệm vụ như bị mắc kẹt và giết nhiệm vụ. Tham chiếu API là Here