SỢI ResourceManager không kết nối với nodemanager

Question

cảm ơn trước sự giúp đỡ nào

Tôi đang chạy các phiên bản sau:

Hadoop 2.2 Zookeeper 3.4.5 HBase 0,96 Hive 0.12

Khi tôi đi tới http: //: 50070 Tôi có thể thấy chính xác 2 nút đang chạy.

Vấn đề là khi tôi truy cập http: //: 8088, nó hiển thị 0 nút đang chạy.

Tôi hiểu rằng: 8088 phản ánh người quản lý cấp lại và cho biết số lượng người chơi gật đầu đang chạy. Các daemon tất cả bắt đầu, nhưng nó sẽ xuất hiện rằng các nodemanagers không kết nối với resourcemanager.

Đây là log file:

2013-12-16 20:55:48,648 INFO org.apache.hadoop.yarn.client.RMProxy: Connecting to ResourceManager at /127.0.0.1:8031 
2013-12-16 20:55:49,755 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
2013-12-16 20:55:50,756 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
2013-12-16 20:55:51,757 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
2013-12-16 20:55:52,758 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
2013-12-16 20:55:53,759 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
2013-12-16 20:55:54,760 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 5 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 

Tôi đã kiểm tra và cổng 8031 ​​đang mở.

EDIT:

Đối với những người xem này trong tương lai, tôi cần phải chỉnh sửa của tôi sợi-site.xml để trông giống như sau:

<property> 
    <name>yarn.nodemanager.aux-services</name> 
    <value>mapreduce_shuffle</value> 
</property> 
<property> 
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
    <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.scheduler.address</name> 
    <value>master-1:8030</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.address</name> 
    <value>master-1:8032</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.webapp.address</name> 
    <value>master-1:8088</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.resource-tracker.address</name> 
    <value>master-1:8031</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.admin.address</name> 
    <value>master-1:8033</value> 
</property> 

Answer 1

Bạn sẽ cần phải xác định

hostname: port

Vâng, nó phải được đặt trên tất cả các cái gật đầu es, không chỉ là nút ResourceManager (Bạn sẽ chỉ cần sao chép cùng một thư mục conf của hadoop cho tất cả các nút của bạn). Nếu bạn cần một số configs làm việc tối thiểu để bắt đầu, hãy xem ở đây: toster.ru/q/57046#answer_208326

Answer 2

Các rsync hoặc scp lệnh có thể được sử dụng để sao chép các tập tin cấu hình từ nút chính để các nút nô lệ:

for host in $HADOOP_CONF_DIR/slaves; do 
    rsync -rv $HADOOP_CONF_DIR/* $host:$HADOOP_CONF_DIR/ 
done 

Lưu ý, ở đây tôi giả sử tất cả các nút có cùng một bố cục thư mục hadoop.

Answer 3

Tôi gặp vấn đề tương tự, và nó đã được giải quyết chỉ bằng cách chỉ định ResourceManager tên máy chủ, không cần phải đánh vần địa chỉ chính xác cho mỗi dịch vụ.

<property> 
    <name>yarn.resourcemanager.hostname</name> 
    <value>master-1</value> 
</property> 

Answer 4

Tôi cũng gặp vấn đề tương tự nhưng trong trường hợp của tôi chỉ một nút quản lý được liệt kê trong trình quản lý tài nguyên. Tôi đặt bên dưới thuộc tính trong fibre-site.xml và tôi có thể thấy các nút được liệt kê ở RM.

<property> 
    <name>yarn.resourcemanager.hostname</name> 
    <value><master-1></value> 
</property> 

Answer 5

1. kiểm tra YARN HA có được bật hay không?
2. Trong trường hợp nó được kích hoạt sau đó cho mỗi nhà quản lý tài nguyên được đề cập trong sợi-site.xml yarn.resourcemanager.ha.rm-id (ví dụ RM1, RM2) chạy dịch vụ ResourceManager.

Answer 6

Tôi gặp phải sự cố với các triệu chứng rất giống nhau mặc dù đó là người gật đầu không kết nối với người quản lý tài nguyên. Vấn đề là ở dạng sợi-site.xml có (hoặc có thể là) một thuộc tính có tên "yarn.nodemanager.hostname". Cài đặt đó đã vô tình được điền với tên máy chủ của "tên khóa" HDFS nhưng nó được cho là chứa tên máy chủ của "nodemanager" trên mỗi nút "YARN per-node". Tùy thuộc vào những gì được nhập cho các thuộc tính khác, điều này đã gây ra các lỗi khác nhau như "Thử lại kết nối", "Kết nối bị từ chối" hoặc lỗi phân bổ tài nguyên. Đặt cài đặt này thành "0.0.0.0" (mặc định) đã khắc phục sự cố.