Tôi đã cố gắng cài đặt Hadoop trên một cụm nút đơn (labtop-ubuntu 12.04 của riêng tôi). Tôi đã làm theo hướng dẫn này và kiểm tra nó theo từng dòng hai lần. http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/
mọi thứ có vẻ chính xác. Tôi đặt tất cả tệp core-site.xml, mapred-site.xml, hdfs-site.xml.
khi tôi chạy lệnh sau trong hduser su:
[email protected]:~$ /usr/local/hadoop/usr/sbin/start-all.sh
tôi nhận được các lỗi sau đây:
Warning: $HADOOP_HOME is deprecated.
starting namenode, logging to /usr/local/hadoop/usr/libexec/../logs/hadoop-hduser-namenode-maziyar-Lenovo-IdeaPad-U300s.out
cat: /usr/local/hadoop/usr/libexec/../etc/hadoop/slaves: No such file or directory
cat: /usr/local/hadoop/usr/libexec/../etc/hadoop/masters: No such file or directory
starting jobtracker, logging to /usr/local/hadoop/usr/libexec/../logs/hadoop-hduser-jobtracker-maziyar-Lenovo-IdeaPad-U300s.out
cat: /usr/local/hadoop/usr/libexec/../etc/hadoop/slaves: No such file or directory
tôi thêm HADOOP_HOME_WARN_SUPPRESS xuất khẩu = "TRUE" vào hadoop-env.sh và vẫn lỗi tương tự.
Mở file /home/hduser/.bashrc nơi tôi đoán lỗi của tôi đến từ I có:
# Set Hadoop-related environment variables
export HADOOP_HOME=/usr/local/hadoop
# Set JAVA_HOME (we will also configure JAVA_HOME directly for Hadoop later on)
export JAVA_HOME=/usr/lib/jvm/jdk-7u10-linuxi586/usr/java/jdk1.7.0_10
# Some convenient aliases and functions for running Hadoop-related commands
unalias fs &> /dev/null
alias fs="hadoop fs"
unalias hls &> /dev/null
alias hls="fs -ls"
# If you have LZO compression enabled in your Hadoop cluster and
# compress job outputs with LZOP (not covered in this tutorial):
# Conveniently inspect an LZOP compressed file from the command
# line; run via:
#
# $ lzohead /hdfs/path/to/lzop/compressed/file.lzo
#
# Requires installed 'lzop' command.
#
lzohead() {
hadoop fs -cat $1 | lzop -dc | head -1000 | less
}
# Add Hadoop bin/ directory to PATH
export PATH=$PATH:$HADOOP_HOME/usr/sbin
tôi thêm/usr/sbin như một thư mục bin vì start-all.sh và lệnh là đó.
Tôi cũng đã thử "HADOOP_PREFIX" thay vì "HADOOP_HOME" trong tệp bashrc nhưng vẫn có lỗi tương tự.
Tôi có thư mục này trong thư mục hadoop tôi,
[email protected]:/usr/local/hadoop$ ls -lha
total 20K
drwxr-xr-x 5 hduser hadoop 4.0K May 30 15:25 .
drwxr-xr-x 12 root root 4.0K May 30 15:25 ..
drwxr-xr-x 4 hduser hadoop 4.0K May 30 15:25 etc
drwxr-xr-x 12 hduser hadoop 4.0K Jun 4 21:29 usr
drwxr-xr-x 4 hduser hadoop 4.0K May 30 15:25 var
tôi tải về phiên bản mới nhất của apache-hadoop tuần trước: hadoop-1.1.2-1.i386.rpm
bạn đang sử dụng phiên bản Hadoop nào? – twid
@twid - trông giống như 1.1.2 –
bạn có thể nhận phiên bản bằng 'phiên bản hadoop ' – twid