Cấu hình Hadoop: mapred. * Vs mapreduce. *

Question

Tôi nhận thấy rằng có hai bộ tham số cấu hình Hadoop: một tham số có bản đồ. * Và một với mapreduce. . Tôi đoán những điều này có thể là do API cũ so với API mới nhưng nếu tôi không nhầm lẫn, chúng dường như cùng tồn tại trong API mới. Tôi có đúng không? Nếu vậy, có một tuyên bố tổng quát những gì được sử dụng cho bản đồ. và điều gì dành cho mapreduce. *?

Answer 1

Kiểm tra nguồn cho 0.20.2, chỉ có một vài mapreduce.* tài sản, và họ xoay quanh việc cấu hình các lớp đầu vào công việc/định dạng đầu ra, mapper/bộ kết hợp/giảm tốc và phân vùng (họ cũng là dấu hiệu cho khách hàng công việc mà các API mới đang được sử dụng bởi người dùng - xem xét thông qua các nguồn cho o.a.h.mapreduce.Job, setUseNewAPI() phương pháp)

• mapreduce.inputformat.class
• mapreduce.outputformat.class
• mapreduce.partitioner.class
• mapreduce.map.class
• mapreduce.combine.class
• mapreduce.reduce.class

Có một số đặc tính hơn, nhưng họ là cấu hình phổ thông

Các đầu vào và đầu ra định dạng, cho dù đó là phiên bản API mới hay cũ, thường sử dụng mapred.* tính

Ví dụ: tín hiệu bản đồ của bạn giảm đường dẫn nhập bạn sử dụng mapred.input.dir (cho dù bạn là người Mỹ ng API mới hoặc cũ). Tương tự cho các tài sản đầu ra mapred.output.dir

Vì vậy, dài và ngắn nếu là, nếu không có một phương pháp hữu ích để cấu hình các tài sản (FileInputFormat.setInputPaths(Job, String)) sau đó bạn sẽ cần phải kiểm tra nguồn

Answer 2

hadoop.mapred không được dùng nữa.

Phiên bản trước 0.20.1 sử dụng mapred. Phiên bản sau đó sử dụng mapreduce.

Tôi không nghĩ rằng chúng cùng tồn tại.

Answer 3

Có mapred thư viện đã không được chấp nhận. thư viện Mapreduce mới trong hadoop 0.20.1 ..

Tuy nhiên, bạn vẫn có thể sử dụng một số tính năng được cung cấp bởi bản đồ, đó là lý do bạn vẫn tìm thấy nó trong thư mục.

Vui lòng xem liên kết này để biết bạn vẫn có thể sử dụng những tính năng nào: http://hadoop.apache.org/common/docs/r0.20.0/api/org/apache/hadoop/mapred/package-summary.html