Amazon MapReduce không có công việc giảm tốc

Question

Tôi đang cố gắng tạo một công việc bản đồ chỉ qua AWS (công việc phát trực tiếp). Trường giảm tốc là bắt buộc, vì vậy tôi đưa ra một giả thực thi, và thêm -jobconf mapred.map.tasks = 0 vào hộp Extra Args. Trong môi trường hadoop (phiên bản 0.20) Tôi đã cài đặt, không có công việc giảm tốc nào sẽ khởi động, nhưng trong AWS, các thực thi giả sẽ được khởi chạy và không thành công.

Làm cách nào để chỉ chạy các công việc giảm tốc/quản lý trong AWS?

Answer 1

bạn cũng có thể sử dụng mèo hoặc NONE làm đối số giảm tốc.

Answer 2

Không có cách nào để tạo công việc lập bản đồ chỉ trong amazon M/R. Thay vào đó, tôi đang sử dụng Trình giảm nhận dạng (org.apache.hadoop.mapred.lib.IdentityReducer).