萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 伺服器教學

Hadoop 多節點叢集配置全紀錄:從 SSH 互信到啟動驗證

重新搭建 Hadoop 叢集踩過不少坑,記錄完整流程備忘,助後人少走彎路。三台 VM(用戶同為 hzm),IP:192.168.28.130/132/133,角色:master、slave1、slave2。

1. 基礎環境準備

配置 /etc/hosts 實現主機名解析

192.168.28.130 master
192.168.28.132 slave1
192.168.28.133 slave2

配置好一台後 scp /etc/hosts hzm@slave1:/etc/ 分發到其餘節點。
scp 用法:scp file user@ip:~/(檔案),scp -r dir user@ip:~/(目錄)。

2. JDK 統一安裝配置

單機配置後 scp 整個 JDK 目錄與 /etc/profile 到其它節點。
/etc/profile 追加:

export JAVA_HOME=/home/hzm/jre1.7.0_17
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib/rt.jar:$JAVA_HOME/lib/tools.jar

三台均執行 java -version 驗證成功。

3. SSH 免密互信(最易卡殼步驟)

  1. 各節點執行 ssh-keygen 生成 .ssh/id_rsa.pub。
  2. Master 收集所有公鑰:
    cat ~/.ssh/id_rsa.pub >> authorized_keys
    scp authorized_keys hzm@slave1:~/
  3. Slave1 追加自身公鑰:
    cat ~/.ssh/id_rsa.pub >> authorized_keys
    scp authorized_keys hzm@slave2:~/
  4. Slave2 同理追加後,scp 最终 authorized_keys 分發到所有節點 ~/.ssh/。
  5. 驗證:各節點互相 ssh ip 無需密碼登入,exit 退出。

提示:若遇權限問題,檢查 .ssh 目錄權限 700、authorized_keys 600;避免直接改 /etc/sudoers。

4. Hadoop 核心配置(版本 1.1.2)

單機配置完整 hadoop 目錄後 scp -r 分發。修改六個檔案:

hadoop-env.sh

設定 export JAVA_HOME=...

core-site.xml

<configuration>
  <property><name>fs.default.name</name><value>hdfs://master:49000</value></property>
  <property><name>hadoop.tmp.dir</name><value>/home/hadooper/hadooptmp</value></property>
</configuration>

hdfs-site.xml

<configuration>
  <property><name>dfs.replication</name><value>2</value></property>
</configuration>

mapred-site.xml

<configuration>
  <property><name>mapred.job.tracker</name><value>localhost:49001</value></property>
</configuration>

masters

master

slaves

slave1
slave2

5. 啟動與驗證

bin/hadoop namenode -format   # 格式化 HDFS
bin/start-all.sh              # 啟動 NameNode/DataNode/JobTracker/TaskTracker

瀏覽器訪問:
master:50030(MapReduce 狀態)
master:50070(HDFS 狀態)

6. 避坑提醒

  • SSH 配置反複失敗可嘗試重建 .ssh 目錄權限。
  • 系統層面報錯可進 recovery mode 修復權限。
  • 慎用 visudo 直接編輯 /etc/sudoers。
copyright © 萬盛學電腦網 all rights reserved