2012-11-08 50 views
7

tôi có thành công thiết lập một cụm Hadoop với 6 nút (thạc sĩ, salve < 1-5>)Hadoop DFS lỗi: INFO ipc.Client: Đang thử lại kết nối với máy chủ: localhost

  • định dạng các namenode -> thực hiện
  • khởi động và tắt cụm -> hoạt động tốt
  • thi "dfs hadoop -ls /" cho lỗi này ->lỗi: INFO ipc.Client: Đang thử lại kết nối với máy chủ: localhost

tôi đã cố gắng để xem các dịch vụ đang chạy sử dụng:

sudo netstat -plten | grep java 
[email protected]:~$ sudo netstat -plten | grep java 

tcp 0 0 0.0.0.0:50070 0.0.0.0:* LISTEN 1000 93307 11.384/java
tcp 0 0 0.0.0.0:44440 0.0.0.0 : * LISTEN 1000 92491 11571/java
tcp 0 0 0.0.0.0:40633 0.0.0.0:* LISTEN 1000 92909 11758/java
tcp 0 0 0.0.0.0 WEBC0010 0.0.0.0:* LISTEN 1000 93449 11571/java
tcp 0 0 0.0.0.0 respect0075 0.0.0.0:* LISTEN 1000 93673 11571/java
tcp 0 0 0.0.0.0 respect0020 0.0.0.0: * LISTEN 1000 93692 11571/java
tcp 0 0 127.0.0.1:40485 0.0.0.0:* LISTEN 1000 93666 12039/java
tcp 0 0 0.0.0.0:44582 0.0.0.0:* LISTEN 1000 93013 11852/java
tcp 0 0 10.42.43.1:54310 0.0.0.0:* LISTEN 1000 92.471 11.384/java
tcp 0 0 10.42.43.1:54311 0.0.0.0:* LISTEN 1000 93.290 11.852/java
tcp 0 0 0.0.0.0 respect0090 0.0.0.0:* LISTEN 1000 93460 11758/java
tcp 0 0 0.0.0.0:34154 0.0.0.0:* LISTEN 1000 92179 11384/java
tcp 0 0 0.0.0.0:50060 0.0.0.0:* LISTEN 1000 94.200 12.039/java
tcp 0 0 0.0.0.0:50030 0.0.0.0:* LISTEN 1000 93550 11.852/java

của các bậc thầy IP binded đến cổng 54310 và 54311 chứ không phải localhost (loopback).

Các conf-site.xml đã được cấu hình đúng cách:

<configuration> 
<property> 
<name>hadoop.tmp.dir</name> 
<value>/home/hduser/hadoop/tmp</value> 
</property> 
<property> 
<name>fs.default.name</name> 
<value>hdfs://master:54310</value> 
</property> 
</configuration> 

Tại sao nó mong localhost được binded đến 54.310 chứ không phải là hich bậc thầy tôi đã cấu hình ở đây. Giúp đánh giá cao. Làm cách nào để giải quyết vấn đề này ??

Cheers

Trả lời

1

Rõ ràng, ai đó đã thêm các hadoop già thư mục (1.0.3) bin vào biến con đường trước khi tôi đã thêm vào thư mục bin hadoop mới (1.0.4). Và do đó bất cứ khi nào tôi chạy "hadoop" từ CLI, nó thực hiện các tệp nhị phân của hadoop cũ hơn là cái mới.

Giải pháp:

  • Di chuyển toàn bộ đường dẫn bin của hadoop cụm

  • Shutdown cũ - terminal Thoát

  • Login trong phiên terminal mới

  • Startup nút

  • Đã thử hadoop dfs -ls / -> Hoạt động tốt !!!! Bài học hay.

0

Có vẻ như nhiều người đã gặp sự cố này.

Có thể không cần phải thay đổi/etc/hosts và đảm bảo bạn có thể truy cập chủ và nô lệ từ nhau và tệp core-site.xml của bạn giống với nút chính và số cổng.

Sau đó chạy $ HADOOP/bin/stop-all.sh, $ HADOOP/bin/start-all.sh trên nút chính CHỈ. (Nếu chạy trên nô lệ có thể dẫn đến các vấn đề). Sử dụng JPS để kiểm tra xem tất cả các dịch vụ có như sau.

Mở nút chính: 4353 DataNode 4640 JobTracker 4498 SecondaryNameNode 4788 TaskTracker 4989 JPS 4216 NameNode

On nô lệ nút: 3143 JPS 2827 DataNode 2960 TaskTracker

0

Bên cạnh đó, kiểm tra quy tắc tường lửa của bạn giữa nút tên và mã dữ liệu

Các vấn đề liên quan