Cấu hình không chính xác: địa chỉ tên địa chỉ dfs.namenode.rpc-address không được định cấu hình

Question

Tôi gặp phải lỗi này khi tôi thử và khởi động Mã dữ liệu. Từ những gì tôi đã đọc, các tham số RPC chỉ được sử dụng cho một cấu hình HA, mà tôi không thiết lập (tôi nghĩ).

2014-05-18 18:05:00,589 INFO [main] impl.MetricsSystemImpl (MetricsSystemImpl.java:shutdown(572)) - DataNode metrics system shutdown complete. 
2014-05-18 18:05:00,589 INFO [main] datanode.DataNode (DataNode.java:shutdown(1313)) -  Shutdown complete. 
2014-05-18 18:05:00,614 FATAL [main] datanode.DataNode (DataNode.java:secureMain(1989)) - Exception in secureMain 
java.io.IOException: Incorrect configuration: namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured. 
at org.apache.hadoop.hdfs.DFSUtil.getNNServiceRpcAddresses(DFSUtil.java:840) 
at org.apache.hadoop.hdfs.server.datanode.BlockPoolManager.refreshNamenodes(BlockPoolManager.java:151) 
at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:745) 
at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:278) 

My files như sau:

[root @ datanode1 conf.cluster] # mèo lõi-site.xml

<?xml version="1.0"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 

<configuration> 

<property> 
<name>fs.defaultFS</name> 
<value>hdfs://namenode:8020</value> 
</property> 

</configuration> 

mèo HDFS-site.xml

<?xml version="1.0"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 

<configuration> 
<property> 
<name>dfs.datanode.data.dir</name> 
<value>/hdfs/data</value> 
</property> 
<property> 
<name>dfs.permissions.superusergroup</name> 
<value>hadoop</value> 
</property> 
</configuration> 

Tôi đang sử dụng bản phân phối CDH5 mới nhất.

Installed Packages 
Name  : hadoop-hdfs-datanode 
Arch  : x86_64 
Version  : 2.3.0+cdh5.0.1+567 
Release  : 1.cdh5.0.1.p0.46.el6 

Bất kỳ lời khuyên hữu ích nào về cách vượt qua điều này?

CHỈNH SỬA: Chỉ cần sử dụng trình quản lý Cloudera.

Answer 1

Tôi gặp vấn đề tương tự. Tôi đã tìm thấy độ phân giải bằng cách kiểm tra môi trường trên Nút dữ liệu:

$ sudo update-alternatives --install /etc/hadoop/conf hadoop-conf /etc/hadoop/conf.my_cluster 50 
$ sudo update-alternatives --set hadoop-conf /etc/hadoop/conf.my_cluster 

Đảm bảo rằng các lựa chọn thay thế được đặt chính xác trên các nút dữ liệu.

Answer 2

kiểm tra core-site.xml dưới $ HADOOP_INSTALL/etc/hadoop dir. Xác minh rằng thuộc tính fs.default.name được định cấu hình chính xác

Answer 3

Tôi cũng đang đối mặt với cùng một vấn đề và cuối cùng thấy rằng có một khoảng trống trong giá trị fs.default.name. cắt ngắn không gian đã khắc phục vấn đề. Tệp core-site.xml ở trên dường như không có khoảng trống nên vấn đề có thể khác so với những gì tôi có. tôi 2 cent

Answer 4

Các bước giải quyết vấn đề đối với tôi:

• export HADOOP_CONF_DIR = $HADOOP_HOME/etc/hadoop
• echo $HADOOP_CONF_DIR
• hdfs namenode -format
• hdfs getconf -namenodes
• ./start-dfs.sh

Answer 5

Rõ ràng, core-site.xml của bạn đã cấu hình lỗi.

<property> 
<name>fs.defaultFS</name> 
<value>hdfs://namenode:8020</value> 
</property> 

thiết lập <name>fs.defaultFS</name> của bạn như <value>hdfs://namenode:8020</value>, nhưng bạn máy hostname là datanode1 Vì vậy, bạn chỉ cần thay đổi namenode để datanode1 sẽ OK.

Answer 6

trong trường hợp của mình, tôi đã đặt HADOOP_CONF_DIR sai thành cài đặt Hadoop khác.

Answer 7

Định cấu hình tên máy chủ lưu trữ đầy đủ trong tệp core-site.xml, chủ và nô lệ đã giải quyết được vấn đề cho tôi.

Cũ: node1 (thất bại)

mới: node1.krish.com (Thành công)

Answer 8

tạo dfs.name.dir và dfs.data.dir danh bạ và cấu hình đầy đủ hostname trong core-site.xml, masters & nô lệ được giải quyết vấn đề của tôi

Answer 9

Trong trường hợp của tôi, tôi đã sửa bằng cách thay đổi cấu hình/etc/hosts thành chữ thường.