Quản lý hdfs trong chế độ phân phối giả phân tán

Question

Tôi muốn thực hiện một số tính toán với hadoop và mahout trên máy lõi tứ của tôi, vì vậy tôi đang sử dụng hadoop trong chế độ giả phân tán.

Vấn đề là không gian trên máy chủ gốc của tôi bị giới hạn, vì vậy làm cách nào tôi có thể định cấu hình để sử dụng không gian có sẵn trên một số ổ cứng gắn ngoài khác.

Answer 1

Bạn có thể định cấu hình nơi hdfs thu thập dữ liệu của nó. Thêm dòng sau vào conf/HDFS-site.xml của bạn:

<property> 
    <name>dfs.data.dir</name> 
    <value>__path_to_where_you_want_to_store_your_data/hdfs/data/</value> 
</property> 
<property> 
    <name>dfs.name.dir</name> 
    <value>__path_to_where_you_want_to_store_your_data/hdfs/name/</value> 
</property> 

Sau theese thay đổi bạn sẽ phải định dạng namenode của bạn:

hadoop namenode -format