Tại sao Hadoop bị ràng buộc chặt chẽ với Linux?

Question

Tôi mới sử dụng Hadoop. Các lý do cụ thể tại sao Hadoop bị ràng buộc chặt chẽ với Linux như thế nào, và cụm mà nó chạy là đồng nhất?

Tôi đang tìm các chi tiết thực sự cụ thể có thể cho tôi biết tại sao Hadoop không hoạt động tốt với các cửa sổ và nếu có một số thư viện một số tập lệnh cụ thể có liên quan?

Dự án của tôi là triển khai Hadoop mà không cần sử dụng Cygwin. Tôi đã xem bài báo từ Hayes Davis, nơi ông đã giải thích cách cài đặt Hadoop mà không có Cygwin, nhưng ông nói rằng có một số lỗi. Tôi có thể bắt đầu từ đầu để cấu hình đúng Hadoop trên Windows, nhưng nếu bất kỳ ai có thể giải thích điều gì, cụ thể, là những lý do mà Hadoop không hoạt động tốt trên các cửa sổ sẽ rất hữu ích.

Answer 1

Theo số Quick Start page của chúng, nó chưa được kiểm tra kỹ.

• GNU/Linux được hỗ trợ làm nền tảng phát triển và sản xuất. Hadoop đã được chứng minh trên các cụm GNU/Linux với 2000 nút.
• Win32 được hỗ trợ làm nền tảng phát triển. Hoạt động phân tán chưa được thử nghiệm tốt trên Win32, vì vậy nó không được hỗ trợ như một nền tảng sản xuất .

Windows có hỗ trợ quản lý từ xa tốt hơn nhiều so với hầu hết mọi người nhận ra, nhưng nó vẫn còn khó khăn để đánh bại Linux khi nói đến sự dễ dàng (và thẻ giá) thiết lập một trang trại tính toán lớn. Đây chỉ là một dự đoán, nhưng có lẽ ít có khả năng các nhà nghiên cứu cần xây dựng các cụm lớn như vậy muốn đặt nhiều ngân sách của họ vào việc cấp phép hệ điều hành.

Answer 2

Bạn có biết về công việc Hadoop mà trên đó Microsoft and Hortonworks đang cộng tác, về cơ bản cam kết các thay đổi đối với dự án Apache cho hỗ trợ Windows nguyên bản không?

Dự án vẫn đang trong giai đoạn xem trước, với Hadoop on Azure là phần đầu tiên của giới thiệu. Đây là Hadoop đang chạy trên Windows Server 2008R2 trong đám mây Windows Azure. Nó cũng sẽ có sẵn để cài đặt trên cơ sở để xây dựng cụm của riêng bạn.

Tôi muốn khuyên bạn nên tìm hiểu thêm và đăng ký chương trình, vì bạn sẽ tái tạo lại những gì họ đã trải qua trong nhiều năm qua.

Answer 3

TNE xác nhận câu trả lời là từ năm 2012. Dưới đây là những tin tức mới nhất từ ​​Hadoop Wiki như của 2017

• phiên bản Hadoop 2.2 trở đi bao gồm hỗ trợ cho Windows. Các bản phát hành Apache Hadoop chính thức không bao gồm các tệp nhị phân Windows (tuy nhiên, kể từ tháng 1 năm 2014). Tuy nhiên việc xây dựng một gói Windows từ các nguồn là khá đơn giản.