萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 伺服器教學

Hadoop 1.0.4 偽分布式模式安裝配置全記錄 (Ubuntu 12.04)

環境

  • OS:Ubuntu 12.04 LTS
  • Hadoop:1.0.4 (官網 單機/偽分布式手冊)
  • 安裝目錄:~/hadoop (家目錄避免權限麻煩;生產建議 /usr/local)

官方手冊兩大坑點補充

1. core-site.xml 關鍵修正

手冊範例 fs.default.name=hdfs://localhost:9000 易衝突,建議改用 8020 並顯式設定暫存目錄:


  
    fs.default.name
    hdfs://localhost:8020
  
  
    hadoop.tmp.dir
    /home/zhengeek/hadoop-tmp
    Base for temporary directories
  

若不設 hadoop.tmp.dir,預設寫 /tmp,重啟丟失導致 NameNode/DataNode 無法啟動。

2. hdfs-site.xml / mapred-site.xml 建議補全


dfs.replication1
dfs.name.dir/home/zhengeek/hadoop-tmp/dfs/name
dfs.data.dir/home/zhengeek/hadoop-tmp/dfs/data


mapred.job.trackerlocalhost:9001
mapred.local.dir/home/zhengeek/hadoop-tmp/mapred/local

SSH 無密碼登入 (偽分布式必備)

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
ssh localhost  # 首次驗證無需密碼

啟動流程

  1. 格式化 HDFS:bin/hadoop namenode -format
  2. 啟動所有服務:bin/start-all.sh
  3. 驗證:jps 應見 5 進程
    NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker

常見問題速查

  • Connection refused:SSH 未通、防火牆、/etc/hosts 缺 localhost 映射
  • NameNode not formatted:未執行 format 或 tmp 目錄被清
  • 權限錯誤:確保 hadoop 用戶擁有 hadoop.tmp.dir 完整權限
copyright © 萬盛學電腦網 all rights reserved