Có cách nào để xuất nhật ký đầu ra trung gian (Bản đồ pha) của Công việc MapReduce mà không cần chỉnh sửa Ứng dụng không? (Ứng dụng không phải của tôi, nhưng cụm là, và tôi có thể thiết lập cụm Hadoop như tôi muốn)Bản đồ HadoopBắt đầu ra trung gian
Tham số keep.task.files.pattern có thể được sử dụng để giữ các tệp trung gian. Các tệp trung gian phải được dọn dẹp thủ công sau khi công việc đã hoàn thành. Vì, đây là thuộc tính tác vụ map/reduce, nó phải được đặt trong tệp cấu hình và tệp jar được đóng gói lại.
bạn có thể vui lòng xây dựng? Tôi đã thiết lập tham số này, và tìm kiếm ở khắp mọi nơi trong thư mục đầu ra, và trong bộ nhớ cache cục bộ bản đồ, nhưng không có đầu ra sân khấu bản đồ ở bất kỳ đâu ... – ihadanny
... Tôi đã có hy vọng cao trên $ {mapred.output.dir }/_ tạm thời, nhưng tất cả tôi có thể tìm thấy có giảm "_attempt_local_0003_r_000000" thư mục, không bao giờ "m" đối tác của mình – ihadanny
Tôi đã đặt 'keep.task.files.pattern' thành'. * 00000. * 'trong' mapred -site.xml' và trong 'core-site.xml' tham số' hadoop.tmp.dir' được đặt thành '$ HADOOP_HOME \ tmp'. Sau khi thực hiện công việc, file.out và file.out.index nằm trong thư mục '$ HADOOP_HOME/tmp/mapred/local/taskTracker/praveensripati/jobcache/job_201111031937_0001/try_201111031937_0001_m_000001_0/output'. Các tệp này có định dạng SequenceFile. [Ở đây] (http://goo.gl/7fJzT) là mã mẫu để đọc các tệp chuỗi. Bạn đã sử dụng mẫu nào? –
Bạn có thể định cấu hình lại công việc không? –