Hadoop: Không thể tải thư viện hadoop gốc cho nền tảng của bạn

Question

Tôi đã cài đặt Hadoop 2.7.2 nút đơn trên Ubuntu và tôi muốn chạy chương trình wordcount java. Việc lập và tạo ra các tập tin jar được thực hiện thành công, nhưng khi tôi chạy file jar trên Hadoop Tôi nhận được thông báo này:

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 

tôi đặt biến môi trường bằng cách chỉnh sửa tập tin .bashrc:

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib 

Khi tôi gõ hadoop checknative -a tôi có được điều này: phiên bản

hadoop: true /usr/local/hadoop/lib/native/libhadoop.so.1.0.0 
zlib: true /lib/x86_64-linux-gnu/libz.so.1 
snappy: false 
lz4: true revision:99 
bzip2: false 
openssl: true /usr/lib/x86_64-linux-gnu/libcrypto.so 

16/05/09 00:48:53 INFO util.ExitUtil: Exiting with status 1 

Hadoop: 2.7.2

Phiên bản Ubuntu: 14.04

Có ai có thể đưa ra một số manh mối về vấn đề này không?

Answer 1

Di chuyển tệp thư viện gốc đã biên dịch của bạn sang thư mục $ HADOOP_HOME/lib.

Sau đó thiết lập các biến môi trường của bạn bằng cách chỉnh sửa tập tin .bashrc

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib 
export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=$HADOOP_HOME/lib" 

Hãy chắc chắn rằng biên soạn tập tin thư viện mẹ đẻ của bạn là trong $ HADOOP_HOME thư mục/lib.

Nó sẽ khắc phục sự cố.

Answer 2

Hãy thử tải các hộp hadoop - "hadoop-common.jar và hadoop-core.jar" vào đường dẫn lớp của bạn. Bạn có thể chỉ cần làm điều đó trong eclipse ans trong khi tạo một tập tin jar những lọ sẽ được tham chiếu tự động.

Answer 3

chỉnh sửa các tập tin hadoop-env.sh trong /usr/local/etc/hadoop

Thêm thư viện Hadoop vào LD_LIBRARY_PATH:

export LD_LIBRARY_PATH=/usr/local/hadoop/lib/native/:$LD_LIBRARY_PATH 

thử nó, làm việc cho tôi

Answer 4

Thêm các dòng lệnh dưới đây để hadoop-env.sh, cần ngăn chặn các lỗi gặp phải

export HADOOP_HOME_WARN_SUPPRESS=1 
export HADOOP_ROOT_LOGGER="WARN,DRFA"