Một số có thể giải thích cho tôi kiến trúc của nút Edge trong hadoop. Tôi chỉ có thể tìm thấy định nghĩa trên internet. Tôi có một số thắc mắcYêu cầu chi tiết về nút cạnh trong cụm
1) Liệu các nút cạnh một phần của cụm (gì lợi thế nào chúng ta có nếu nó nằm bên trong cluster. Liệu nó lưu trữ bất kỳ khối dữ liệu trong HDFS.
2) Nên các nút cạnh nằm ngoài cụm.
3) Vui lòng tham khảo bất kỳ tài liệu nào mà tôi có thể biết về nó.
Edgenodes không phải là thuật ngữ Hadoop phổ biến. Tôi hy vọng bạn đã tìm thấy cùng một định nghĩa tôi đã làm mà nên trả lời câu hỏi của bạn .... Đây là từ Dell.
EdgeNode - EdgeNode là điểm truy cập cho các ứng dụng, công cụ và người dùng bên ngoài cần sử dụng môi trường Hadoop. EdgeNode nằm giữa cụm Hadoop và mạng công ty để cung cấp các điều khiển truy cập kiểm soát truy cập, thực thi chính sách, ghi nhật ký và cổng vào môi trường Hadoop. Một môi trường Hadoop điển hình sẽ có tối thiểu một EdgeNode và nhiều hơn nữa dựa trên nhu cầu hiệu suất.
Vì vậy, nó thực sự tùy thuộc vào bạn. Các Edgenode có thể là trong cụm, hoặc có thể không. Nó có thể chạy phần mềm Hadoop, hoặc chỉ đơn thuần là có thể truy cập nó. Bạn về cơ bản không cần một cái như xa như tôi có thể nhìn thấy - nó chỉ là tên được đặt cho những cách bạn có thể truy cập cụm.
+1 với giải thích của Dell. Theo ý kiến của tôi, các nút cạnh trong một cụm Hadoop thường là các nút có trách nhiệm chạy các hoạt động phía máy khách của một cụm Hadoop. Thông thường các nút cạnh được giữ riêng biệt với các nút có chứa các dịch vụ Hadoop như HDFS, MapReduce, vv, chủ yếu để giữ riêng các tài nguyên máy tính. Đối với các cụm nhỏ hơn chỉ có một vài nút, thường thấy các nút phát kết hợp các vai trò cho các dịch vụ chính (JT, NN, v.v.), các dịch vụ nô lệ (TT, DN, vv) và các dịch vụ cổng. Lưu ý rằng việc chạy các dịch vụ Hadoop chính và phụ thuộc vào cùng một nút không phải là một thiết lập lý tưởng, và có thể gây ra các vấn đề về quy mô và tài nguyên tùy thuộc vào những gì đang được sử dụng. Loại cấu hình này thường được thấy trên môi trường có quy mô nhỏ.
Với những gì đã nói, đây là một số câu trả lời cho câu hỏi của bạn được đăng:
1) Liệu các nút cạnh phải là một phần của cụm Nút cạnh không phải là một phần của cụm, tuy nhiên nếu nó nằm ngoài cluster (nghĩa là nó không có bất kỳ vai trò dịch vụ Hadoop cụ thể nào đang chạy trên nó), nó sẽ cần một số phần cơ bản như các tệp nhị phân Hadoop và các tệp cấu hình cụm Hadoop hiện tại để gửi các công việc trên cụm.
2) Chúng ta có lợi ích gì nếu nó nằm trong cụm? Tùy thuộc vào phân phối đang được sử dụng, các nút cạnh chạy trong cụm cho phép quản lý tập trung tất cả các mục cấu hình Hadoop trên các nút cụm giúp giảm lượng quản trị cần thiết để cập nhật các tệp cấu hình. Thông thường đây là một cách tiếp cận một-nhiều, nơi các mục cấu hình được cập nhật tại một vị trí và được đẩy ra cho tất cả (nhiều) nút trong cụm. Tuy nhiên, khi một trong các nút trong cụm cũng được sử dụng như một nút cạnh, có các tài nguyên CPU và bộ nhớ được các hoạt động máy khách tiêu thụ, làm giảm các tài nguyên có sẵn có thể được sử dụng bởi các dịch vụ Hadoop đang chạy trong nút đó.
3) Có lưu trữ bất kỳ khối dữ liệu nào trong hdfs không? Trừ khi nút cạnh được cấu hình với dịch vụ DataNode, các khối dữ liệu sẽ không được lưu trữ trên nút đó.
4) Nút cạnh có nằm ngoài cụm không? Như đã đề cập ở trên, nó có thể phụ thuộc vào môi trường cụm và trường hợp sử dụng; Một trong những lý do hỗ trợ để cấu hình nó bên ngoài cụm là giữ cho máy khách chạy và các dịch vụ Hadoop được tách ra.
Giữ riêng nút cạnh cho phép nút đó sử dụng các tài nguyên máy tính đầy đủ có sẵn để xử lý Hadoop.
Hy vọng điều này sẽ hữu ích!
Nút cạnh không là gì ngoài một gatekeeper cho cụm hadoop, nó cho phép bạn truy cập ứng dụng hadoop như hive, pig .. thay vào đó tôi sẽ nói đó là ứng dụng khách nói đến cụm.