Đối tượng bối cảnh Hadoop Mapper Đối tượng ngữ cảnh

Question

Phương thức run() của lớp bản đồ hoặc bộ giảm tốc được gọi là khung công tác Hadoop như thế nào? Khuôn khổ đang gọi phương thức run(), nhưng nó đòi hỏi một đối tượng bối cảnh để Hadoop truyền đối tượng đó như thế nào? Thông tin nào nằm trong đối tượng đó?

Answer 1

Phương thức run() sẽ được gọi bằng cách sử dụng tính đa hình thời gian chạy Java (nghĩa là ghi đè phương pháp). Như bạn có thể thấy dòng # 569 trên liên kết bên dưới, trình ánh xạ/bộ giảm tốc mở rộng sẽ được khởi tạo bằng cách sử dụng API phản chiếu Java. Lớp MapTask được tên của mở rộng mapper/giảm từ đối tượng cấu hình Job mà chương trình khách hàng có thể đã được cấu hình mở rộng lớp mapper/giảm tốc sử dụng job.setMapperClass()

Sau đây là đoạn code lấy từ Hadoop Source MapTask.java

mapperContext = contextConstructor.newInstance(mapper, job, getTaskID(), 
                input, output, committer, 
                reporter, split); 

    input.initialize(split, mapperContext); 
    mapper.run(mapperContext); 
    input.close();` 

Dòng # 621 là một ví dụ về đa hình thời gian chạy. Trên dòng này, MapTask gọi phương thức run() của trình ánh xạ được cấu hình với 'Mapper Context' làm tham số. Nếu run() không được mở rộng, nó gọi phương thức run() trên org.apache.hadoop.mapreduce.Mapper mà lại gọi phương thức map() trên trình ánh xạ được cấu hình.

Trên dòng # 616 của liên kết ở trên, MapTask tạo đối tượng bối cảnh với tất cả chi tiết cấu hình công việc, v.v. được đề cập bởi @harpun và sau đó chuyển sang phương thức run() trên dòng # 621.

Giải thích ở trên phù hợp để giảm nhiệm vụ cũng như với lớp ReduceTask thích hợp làm lớp nhập chính.

Answer 2

Có, phương thức run() của người lập bản đồ được gọi là khung MR khi chạy thử nhiệm vụ bản đồ. Theo như bối cảnh có liên quan, hãy xem tài liệu cho Mapper.Context, đặc biệt là các giao diện được triển khai và javadocs của chúng cung cấp cho bạn tổng quan đầy đủ về thông tin chứa trong ngữ cảnh. Qua bối cảnh, bạn có thể truy cập dữ liệu như:

• thông tin việc làm (cấu hình việc làm, tên mapper/giảm tốc lớp, tên công việc, working directory)
• tình trạng của các nỗ lực công việc hiện thực
• then chốt hiện nay, giá trị, phân tách đầu vào (thông tin cụ thể về tác vụ bản đồ)

Tất nhiên đối tượng ngữ cảnh tương tự tồn tại cho Giảm tốc: Reducer.Context.