Cách lấy tên của tệp đầu vào trong MRjob

Question

Tôi đang viết một hàm bản đồ bằng cách sử dụng mrjob. Đầu vào của tôi sẽ đến từ các tệp trong một thư mục trên HDFS. Tên của các tập tin chứa một thông tin mảnh nhỏ nhưng rất quan trọng mà không có trong các tập tin. Có cách nào để tìm hiểu (bên trong một hàm bản đồ) tên của tệp đầu vào mà từ đó một cặp khóa-giá trị đã cho không?

Tôi đang tìm kiếm một tương đương với mã Java này:

FileSplit fileSplit = (FileSplit)reporter.getInputSplit(); 
String fileName = fileSplit.getPath().getName(); 

Cảm ơn trước!

Answer 1

map.input.file thuộc tính sẽ cung cấp tên tệp đầu vào.

Theo Hadoop - The Definitive Guide

Các thuộc tính có thể được truy cập từ cấu hình của công việc, thu được trong API MapReduce cũ bằng cách cung cấp một thực hiện các phương pháp cấu hình() cho Mapper hoặc giảm, nơi cấu hình được thông qua như một đối số. Trong API mới, các thuộc tính này có thể được truy cập từ đối tượng ngữ cảnh được truyền cho tất cả các phương thức của Mapper hoặc Reducer.

Answer 2

Nếu bạn đang sử dụng Hadoop 2.x với Python:

file_name = os.environ['mapreduce_map_input_file']