重新搭建 Hadoop 叢集踩過不少坑,記錄完整流程備忘,助後人少走彎路。三台 VM(用戶同為 hzm),IP:192.168.28.130/132/133,角色:master、slave1、slave2。
192.168.28.130 master
192.168.28.132 slave1
192.168.28.133 slave2
配置好一台後 scp /etc/hosts hzm@slave1:/etc/ 分發到其餘節點。
scp 用法:scp file user@ip:~/(檔案),scp -r dir user@ip:~/(目錄)。
單機配置後 scp 整個 JDK 目錄與 /etc/profile 到其它節點。
/etc/profile 追加:
export JAVA_HOME=/home/hzm/jre1.7.0_17
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib/rt.jar:$JAVA_HOME/lib/tools.jar
三台均執行 java -version 驗證成功。
ssh-keygen 生成 .ssh/id_rsa.pub。cat ~/.ssh/id_rsa.pub >> authorized_keysscp authorized_keys hzm@slave1:~/cat ~/.ssh/id_rsa.pub >> authorized_keysscp authorized_keys hzm@slave2:~/scp 最终 authorized_keys 分發到所有節點 ~/.ssh/。ssh ip 無需密碼登入,exit 退出。提示:若遇權限問題,檢查 .ssh 目錄權限 700、authorized_keys 600;避免直接改 /etc/sudoers。
單機配置完整 hadoop 目錄後 scp -r 分發。修改六個檔案:
設定 export JAVA_HOME=...
<configuration>
<property><name>fs.default.name</name><value>hdfs://master:49000</value></property>
<property><name>hadoop.tmp.dir</name><value>/home/hadooper/hadooptmp</value></property>
</configuration>
<configuration>
<property><name>dfs.replication</name><value>2</value></property>
</configuration>
<configuration>
<property><name>mapred.job.tracker</name><value>localhost:49001</value></property>
</configuration>
master
slave1
slave2
bin/hadoop namenode -format # 格式化 HDFS
bin/start-all.sh # 啟動 NameNode/DataNode/JobTracker/TaskTracker
瀏覽器訪問:
master:50030(MapReduce 狀態)
master:50070(HDFS 狀態)
.ssh 目錄權限。recovery mode 修復權限。visudo 直接編輯 /etc/sudoers。