5
có thể xử lý các giá trị với cùng một khóa trên các bộ giảm tốc khác nhau không? từ tất cả những người lập bản đồ tôi có dữ liệu với cùng một khóa và tôi muốn xử lý nó với các bộ giảm tốc khác nhau? sự nhầm lẫn của tôi là cuốn sách nói rằng tất cả các giá trị với cùng một khóa sẽ đi đến cùng giảm ...Các phím tắt khác nhau chính (HADOOP)?
mapper1(k1,v1),mapper2(k1,v2),mapper3(k1,v3) and so on...
tôi không muốn tất cả các dữ liệu để cùng giảm ... nó nên được như thế,
reducer1(k1,v1),reducer2(k1,v2)....
và cho phép nói reducer1 sản xuất sum1 và reducer2 sản sum2 và tôi muốn rằng
sum=sum2+sum1
làm thế nào tôi nên làm điều đó?
Có một lí do không thể lý do tại sao làm như bạn ở trên sử dụng một bộ kết hợp .. và sau đó tổng hợp các kết quả của tổ hợp trong giảm? – Suchet
trong đó giả sử tôi có dữ liệu rất lớn (cho phép nói rằng tôi có số lượng lớn các hàng trong ma trận và cuối cùng tôi muốn tổng của tất cả các phần tử), tôi có thể dễ dàng tổng hợp điều này cho một phần trong bộ kết hợp ngay bây giờ nếu muốn tổng một toàn bộ tôi cần phải đặt đầu ra của tất cả các combiners trong một giảm (i dnt 9 othr cách) dẫn đến một quá trình rất chậm ... – Divyendra
Bạn không được hưởng lợi từ bản chất phân tán của Hadoop. Phân vùng dữ liệu của bạn sao cho nhiều người lập bản đồ hoạt động cùng lúc trên các tệp nhập của bạn. Các vấn đề như thế này là tầm thường. – Suchet