Chức năng JoinFunction và CoGroupFunction của Apache Flink khác nhau như thế nào?

Question

Sự khác nhau giữa số JoinFunction và số CoGroupFunction trong Apache Flink là gì? Ngữ nghĩa và thực thi khác nhau như thế nào?

Answer 1

Cả hai, các phép biến đổi Tham gia và CoGroup tham gia hai đầu vào trên các trường khóa. Sự khác biệt là cách sử dụng chức năng này được gọi là:

• các tham biến đổi gọi là JoinFunction với cặp phù hợp với hồ sơ từ cả hai đầu vào có cùng một giá trị cho các lĩnh vực then chốt. Hành vi này rất giống với sự tham gia bên trong bình đẳng.
• Chuyển đổi CoGroup gọi số CoGroupFunction bằng các trình lặp vòng trên tất cả bản ghi của cả hai đầu vào có cùng giá trị cho các trường khóa. Nếu một đầu vào không có bản ghi nào cho một giá trị khóa nào đó thì một trình vòng lặp trống sẽ được chuyển. CoGroup chuyển đổi có thể được sử dụng, trong số những thứ khác, cho bên trong và bên ngoài bình đẳng tham gia. Đó là do đó chung chung hơn so với việc chuyển đổi Tham gia.

Nhìn vào các chiến lược thực hiện của Tham gia và CoGroup, Tham gia có thể được thực hiện bằng cách sử dụng các chiến lược liên kết dựa trên phân loại và băm khi CoGroup luôn được thực hiện bằng chiến lược dựa trên phân loại. Do đó, việc tham gia thường hiệu quả hơn các nhóm và nên được ưu tiên nếu có thể.