Tôi có nên thích hadoop vs condor khi làm việc với R?

Question

Tôi đang tìm cách gửi các tác phẩm cho nhiều máy tính trên lưới máy tính của trường đại học của tôi.

Hiện tại, thiết bị đang chạy Condor và cũng cung cấp Hadoop.

Câu hỏi của tôi là như vậy, tôi có nên thử và giao tiếp với R với Hadoop hoặc với Conder cho các dự án của tôi không?

Để thảo luận, hãy giả sử chúng ta đang nói về các nhiệm vụ song song đáng xấu hổ.

p.s: Tôi đã xem các tài nguyên được mô tả trong CRAN task views.

Answer 1

Bạn có thể làm cả hai.

Bạn có thể sử dụng HDFS cho bộ dữ liệu và Condor để lên lịch công việc của mình. Sử dụng Condor để đặt các trình thực thi trên máy và HDFS + Hadoops Map-Reduce các tính năng xử lý dữ liệu của bạn (giả sử vấn đề của bạn là map-reduce có thể lập bản đồ). Sau đó, bạn đang sử dụng công cụ thích hợp nhất cho công việc: Condor là một trình lên lịch công việc, và như vậy nó hoạt động tốt hơn Hadoop. Và khung công tác HDFS và M-R của Hadoop là những thứ mà Condor không có (nhưng thực sự hữu ích cho các công việc đang chạy trên Condor để sử dụng).

Cá nhân tôi sẽ xem xét có HDFS để chia sẻ dữ liệu giữa các công việc chạy cụ thể dưới dạng công việc của Condor. Đặc biệt là trong một môi trường đại học, nơi các tài nguyên tính toán được chia sẻ không đáng tin cậy 100% và có thể đến và đi theo ý muốn, khả năng phục hồi của Condor trong loại thiết lập này sẽ giúp việc làm được dễ dàng hơn rất nhiều.