lỗi trong khi chạy hadoop

Question

haduser@user-laptop:/usr/local/hadoop$ bin/hadoop dfs -copyFromLocal /tmp/input 
/user/haduser/input 

11/12/14 14:21:00 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:54310. Already tried 0 time(s). 

11/12/14 14:21:01 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:54310. Already tried 1 time(s). 

11/12/14 14:21:02 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:54310. Already tried 2 time(s). 

11/12/14 14:21:03 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:54310. Already tried 3 time(s). 

11/12/14 14:21:04 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:54310. Already tried 4 time(s). 

11/12/14 14:21:05 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:54310. Already tried 5 time(s). 

11/12/14 14:21:06 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:54310. Already tried 6 time(s). 

11/12/14 14:21:07 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:54310. -Already tried 7 time(s). 

11/12/14 14:21:08 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:54310. Already tried 8 time(s). 

11/12/14 14:21:09 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:54310. Already tried 9 time(s). 

Bad connection to FS. command aborted. exception: Call to localhost/127.0.0.1:54310 failed on connection exception: java.net.ConnectException: Connection refused 

Tôi nhận được các lỗi trên khi tôi đang cố gắng để sao chép các file /tmp/input-/user/haduser/input dù file /etc/hosts chứa mục nhập cho localhost. Khi hoạt động jps command, TaskTracker và namenode không được liệt kê.

Điều gì có thể là vấn đề? Xin vui lòng ai đó giúp tôi với điều này.

Answer 1

NameNode (NN) duy trì không gian tên cho HDFS và nó sẽ chạy cho các hoạt động hệ thống tệp trên HDFS. Kiểm tra nhật ký tại sao NN chưa bắt đầu. TaskTracker không cần thiết cho các hoạt động trên HDFS, chỉ có NN và DN là đủ. Kiểm tra các hướng dẫn http://goo.gl/8ogSk và http://goo.gl/NIWoK về cách thiết lập Hadoop trên một nút đơn và đa.

Answer 2

Tất cả các tệp trong thùng là các tệp có thể thực hiện được. Chỉ cần sao chép lệnh và dán nó vào thiết bị đầu cuối. Đảm bảo địa chỉ là đúng, nghĩa là người dùng phải được thay thế bằng một thứ gì đó. Điều đó sẽ làm các trick.

Answer 3

Tôi có các sự cố tương tự - Trên thực tế Hadoop đã ràng buộc với IPv6. Sau đó, tôi đã thêm - "export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true" tới $HADOOP_HOME/conf/hadoop-env.sh

Hadoop đã ràng buộc với IPv6 ngay cả khi tôi đã tắt IPv6 trên hệ thống của mình. Khi tôi thêm nó vào env, bắt đầu làm việc tốt.

Hy vọng điều này sẽ giúp ai đó.

Answer 4

Cố gắng làm ssh vào hệ thống địa phương của bạn bằng cách sử dụng IP, trong trường hợp này:

$ ssh 127.0.0.1

Một khi bạn có thể làm ssh thành công. Chạy lệnh dưới đây để biết danh sách các cổng mở

~ $ lsof -i

nhìn cho một kết nối nghe với tên: localhost: < PORTNAME> (LISTEN)

bản sao này < PORTNAME> và thay thế giá trị hiện tại của số cổng trong thẻ thuộc tính fs.default.name trong tệp core-site.xml của bạn trong thư mục hadoop conf

lưu tệp core-site.xml, điều này sẽ giải quyết vấn đề.