Tôi hoàn toàn mới đối với hadoop và vừa hoàn tất cài đặt, tôi mất 2 ngày ... Tôi hiện đang thử với lệnh hadoop dfs, nhưng tôi không thể hiểu được, mặc dù tôi đã duyệt trong nhiều ngày , tôi không thể tìm thấy câu trả lời cho những gì tôi muốn biết. Tất cả các ví dụ cho thấy kết quả được cho là gì, mà không giải thích cấu trúc thực sự của nó, vì vậy tôi sẽ hạnh phúc nếu ai đó có thể giúp tôi hiểu về hdfs hadoop.Các tệp của tôi (dir) được lưu trữ khi nào tôi sử dụng hadoop fs -mkdir?
Tôi đã tạo một thư mục trên HDFS.
bin/hadoop fs -mkdir input
OK, tôi sẽ kiểm tra bằng lệnh ls.
bin/hadoop fs -ls
Found 1 items
drwxr-xr-x - hadoop supergroup 0 2012-07-30 11:08 input
OK, không sao, mọi thứ có vẻ hoàn hảo .. NHƯNG ở đâu thực sự là dữ liệu HDFS được lưu trữ? Tôi nghĩ rằng nó sẽ lưu trữ trong thư mục datanode của tôi (/ home/hadoop/datastore), được định nghĩa trong core-site.xml dưới hadoop.tmp.dir, nhưng nó không có ở đó ..
Sau đó, tôi đã thử để xem qua WEB-UI và tôi thấy rằng "đầu vào" đã được tạo trong "/ người dùng/hadoop /" (/ người dùng/hadoop/đầu vào).
Câu hỏi của tôi là
- (1) Thế nào là thư mục datanode (hadoop.tmp.dir) được sử dụng cho, vì nó không lưu trữ tất cả mọi thứ tôi xử lý thông qua lệnh dfs?
- (2) Mọi thứ được tạo bằng lệnh dfs chuyển đến/user/XXX /, cách thay đổi giá trị của nó?
- (3) Tôi không thể thấy bất cứ điều gì khi tôi cố gắng truy cập thông qua lệnh Linux bình thường (ls/user/hadoop). Có/người dùng/hadoop tồn tại hợp lý?
Tôi xin lỗi nếu câu hỏi của tôi là ngu ngốc .. một newbie đấu tranh để hiểu hadoop tốt hơn ..
Cảm ơn bạn trước.