Gần đây tôi đã có một cuộc chơi xung quanh với Hadoop và rất ấn tượng với việc lên lịch, quản lý và báo cáo về các công việc MapReduce. Nó xuất hiện để làm cho việc phân phối và thực hiện các công việc mới khá liền mạch, cho phép các nhà phát triển tập trung vào việc thực hiện công việc của họ.Phân bổ công việc lên lịch, quản lý và báo cáo
Tôi tự hỏi liệu có bất kỳ điều gì tồn tại trong miền Java để thực thi phân tán các công việc không dễ dàng được thể hiện dưới dạng vấn đề MapReduce không? Ví dụ:
Công việc yêu cầu phối hợp nhiệm vụ và đồng bộ hóa. Ví dụ, họ có thể liên quan đến việc thực hiện tuần tự các nhiệm vụ nhưng nó là khả thi để thực hiện một số nhiệm vụ kiêm nhiệm:
.-- B --. .--A --| |--. | '-- C --' | Start --| |-- Done | | '--D -------------'CPU nhiệm vụ chuyên sâu mà bạn muốn phân phối nhưng không cung cấp bất kỳ kết quả đầu ra để giảm - hình ảnh chuyển đổi/thay đổi kích thước chẳng hạn.
Vì vậy, có một khung công tác/nền tảng Java cung cấp môi trường tính toán phân tán như vậy? Hay là loại điều này có thể chấp nhận/đạt được bằng cách sử dụng Hadoop - và nếu có thì có bất kỳ mẫu/nguyên tắc nào cho các loại công việc này không?
Spring Batch giúp song song công việc trên một cụm như Hadoop như thế nào? – Marquez