Hiện tại, chúng tôi đang sử dụng SDK Cloud Dataflow của Google (1.6.0) để chạy các công việc dataflow trong GCP, tuy nhiên, chúng tôi đang cân nhắc chuyển sang Apache Beam SDK (0.1.0). Chúng tôi sẽ vẫn đang chạy công việc của mình trong GCP bằng cách sử dụng dịch vụ dataflow. Có ai đã trải qua quá trình chuyển đổi này và có lời khuyên không? Có vấn đề tương thích nào ở đây và động thái này được GCP khuyến khích?Sử dụng SDK Beam trong Cloud Dataflow
Beam chính thức chưa được hỗ trợ trên Dataflow (mặc dù đó chắc chắn là những gì chúng tôi đang hướng tới). Chúng tôi khuyên bạn nên lưu trú với Dataflow SDK, đặc biệt nếu SLA hoặc bộ phận hỗ trợ quan trọng đối với bạn. nói rằng, các thử nghiệm của chúng tôi cho thấy rằng Beam chạy trên Dataflow, và mặc dù điều đó có thể phá vỡ bất cứ lúc nào, bạn chắc chắn được chào đón để tự mình mạo hiểm.
Cập nhật: SDK Dataflow giờ đây dựa trên Beam khi phát hành Dataflow SDK 2.0 (https://cloud.google.com/dataflow/release-notes/release-notes-java-2). Cả Beam và Dataflow SDK hiện được hỗ trợ trên Cloud Dataflow.
Bất kỳ ý tưởng nào nếu điều này sẽ sớm thay đổi? – Narek
Mọi cập nhật về điều này? –
Dataflow 2.0 SDK gần đây đã được phát hành và là phiên bản được hỗ trợ đầu tiên của SDK Java Dataflow dựa trên Apache Beam. Hãy khám phá: https://cloud.google.com/dataflow/release-notes/release-notes-java-2 –