萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 伺服器教學

Hadoop 叢集搭建完成後的基礎驗證與 WordCount 實戰

環境確認

假設 Hadoop 0.20.2 已安裝於 /root/hadoop-0.20.2,且 NameNode、DataNode、JobTracker、TaskTracker 等服務均已正常啟動。以下所有指令均在 NameNode 主機上執行。

1. 檢查 HDFS 存取

./hadoop-0.20.2/bin/hadoop fs -ls

若無報錯且列出根目錄內容,代表 HDFS 通訊正常。

2. 基本檔案系統操作練習

# 建立測試目錄
./hadoop-0.20.2/bin/hadoop fs -mkdir test

# 列出目錄內容
./hadoop-0.20.2/bin/hadoop fs -ls test

# 遞迴刪除目錄
./hadoop-0.20.2/bin/hadoop fs -rmr test

3. MapReduce WordCount 完整流程

3.1 準備輸入資料

# 建立輸入目錄
./hadoop-0.20.2/bin/hadoop fs -mkdir input

# 將本地文檔上傳至 HDFS
./hadoop-0.20.2/bin/hadoop fs -put /usr/share/doc/pam-1.1.1/rfc86.0.txt input
./hadoop-0.20.2/bin/hadoop fs -put /usr/share/doc/pam-1.1.1/Linux-PAM_SAG.txt input

# 確認檔案已上傳
./hadoop-0.20.2/bin/hadoop fs -ls input

3.2 執行 WordCount 作業

./hadoop-0.20.2/bin/hadoop jar /root/hadoop-0.20.2/hadoop-0.20.2-examples.jar wordcount input output

執行成功後會在 HDFS /user/root/output 產生結果檔案:
part-r-00000(統計結果)與 _logs 目錄。

3.3 查看與取回結果

# 列出輸出目錄
./hadoop-0.20.2/bin/hadoop fs -ls output

# 檢視前 13 行統計結果
./hadoop-0.20.2/bin/hadoop fs -cat output/part-r-00000 | head -n 13

# 將結果下載到本地
./hadoop-0.20.2/bin/hadoop fs -get output/part-r-00000 output.txt

常見問題提示

  • 若 fs -put 報錯「No such file」,請確認本地路徑是否存在;不同 Linux 發行版文檔路徑可能不同。
  • 作業卡住常因 TaskTracker 未啟動或防火牆阻擋埠,請檢查 netstat -ntlp | grep 50060 等埠狀態。
  • Hadoop 2.x 版本指令路徑改為 hdfs dfs 與 yarn jar,參數大同小異。
copyright © 萬盛學電腦網 all rights reserved