Job.setOutputKeyClass và job.setOutputReduceClass ở đâu?

Question

tôi nghĩ rằng họ đề cập đến giảm tốc nhưng trong chương trình của tôi, tôi có

public static class MyMapper extends Mapper< LongWritable, Text, Text, Text >

và

public static class MyReducer extends Reducer< Text, Text, NullWritable, Text >

vì vậy nếu tôi có

job.setOutputKeyClass(NullWritable.class);

job.setOutputValueClass(Text.class);

tôi nhận được ngoại lệ sau

Type mismatch in key from map: expected org.apache.hadoop.io.NullWritable, recieved org.apache.hadoop.io.Text

nhưng nếu tôi có

job.setOutputKeyClass(Text.class);

không có vấn đề.

Có lỗi không đúng với mã của tôi hoặc điều này xảy ra do NullWritable hoặc sth else?

Tôi cũng phải sử dụng job.setInputFormatClass và job.setOutputFormatClass? Bởi vì các chương trình của tôi chạy đúng mà không có chúng.

Answer 1

Gọi job.setOutputKeyClass(NullWritable.class); sẽ đặt các loại được mong đợi là đầu ra từ cả giai đoạn bản đồ và giảm.

Nếu Mapper của bạn phát ra các loại khác nhau hơn Reducer, bạn có thể đặt loại được phát ra bởi người lập bản đồ bằng các phương pháp'setMapOutputKeyClass() và setMapOutputValueClass(). Chúng ngầm thiết lập các kiểu đầu vào được mong đợi bởi Reducer.

(nguồn: Yahoo Developer Tutorial)

Về câu hỏi thứ hai của bạn, mặc định InputFormat là TextInputFormat. Điều này xử lý từng dòng của mỗi tệp đầu vào dưới dạng một bản ghi riêng biệt và không thực hiện phân tích cú pháp. Bạn có thể gọi các phương pháp này nếu bạn cần để xử lý đầu vào của bạn trong một định dạng khác nhau, sau đây là một số ví dụ:

InputFormat    | Description          | Key          | Value 
-------------------------------------------------------------------------------------------------------------------------------------------------------- 
TextInputFormat   | Default format; reads lines of text files  | The byte offset of the line    | The line contents 
KeyValueInputFormat  | Parses lines into key, val pairs     | Everything up to the first tab character | The remainder of the line 
SequenceFileInputFormat | A Hadoop-specific high-performance binary format | user-defined        | user-defined 

Các trường hợp mặc định của OutputFormat là TextOutputFormat, mà viết (key, value) cặp trên dòng riêng lẻ của một tệp văn bản. Một số ví dụ dưới đây:

OutputFormat    | Description 
--------------------------------------------------------------------------------------------------------- 
TextOutputFormat   | Default; writes lines in "key \t value" form 
SequenceFileOutputFormat | Writes binary files suitable for reading into subsequent MapReduce jobs 
NullOutputFormat   | Disregards its inputs 

(nguồn: Other Yahoo Developer Tutorial)