Làm cách nào để lấy dữ liệu trong các chức năng Map/Reduce?

Question

Theo số Hadoop : The Definitive Guide.

API mới hỗ trợ cả kiểu "đẩy" và kiểu kéo "lặp". Trong cả hai API, các cặp bản ghi giá trị khóa được đẩy tới trình ánh xạ, nhưng ngoài ra, API mới cho phép người lập bản đồ lấy các bản ghi từ bên trong phương thức map(). Cũng vậy với bộ giảm tốc. Một ví dụ về cách phong cách "kéo" có thể hữu ích là xử lý các bản ghi theo lô, chứ không phải từng cái một.

Có ai đã lấy dữ liệu trong các chức năng Map/Reduce không? Tôi quan tâm đến API hoặc ví dụ cho tương tự.

Answer 1

Tôi đã đăng truy vấn @ mapreduce-user@hadoop.apache.org và nhận câu trả lời.

Cặp giá trị khóa kế tiếp có thể được truy lục từ đối tượng ngữ cảnh được chuyển tới bản đồ, bằng cách gọi nextKeyValue() trên đó. Vì vậy, bạn sẽ có thể lấy dữ liệu tiếp theo từ nó trong API mới.

Hiệu suất của việc kéo tốt hơn đẩy trong trường hợp này? Ngoài ra, các kịch bản trong đó kéo sẽ hữu ích là gì?