萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 伺服器教學

Hadoop 計算圓周率 (Pi) 範例實作與注意事項

前言

Hadoop 內建的 hadoop-examples.jar 包含經典的 MapReduce 圓周率計算範例,透過蒙地卡羅方法估算 Pi 值。操作看似簡單,但執行目錄與參數順序極易出錯,導致 DataNode 掛掉或例外狀況滿天飛。

正確執行命令

[hadoop@master hadoop-1.0.3]$ hadoop jar hadoop-examples-1.0.3.jar pi 10 100

關鍵注意事項

  1. 必須在 Hadoop 安裝根目錄下執行(如 /home/hadoop/hadoop-1.0.3),因為 hadoop-examples-1.0.3.jar 位於此目錄。在其他目錄執行會找不到 JAR 或類別路徑錯誤,導致 DataNode 異常終止。
  2. 參數含義:pi <maps> <samples>
    • 10 = 啟動 10 個 Map 任務
    • 100 = 每個 Map 任務採樣 100 點
  3. 叢集需先啟動:start-dfs.sh && start-mapred.sh
  4. 確認 HDFS 狀態正常:hadoop dfsadmin -report

預期輸出範例

Number of Maps  = 10
Samples per Map = 100
...
Job Finished in 12.345 seconds
Estimated value of Pi is 3.14160000000000000000

常見錯誤與解決

錯誤現象原因解決
ClassNotFoundException不在 Hadoop 根目錄執行cd $HADOOP_HOME 後再執行
DataNode 掛掉類別路徑錯誤導致任務失敗連鎖同上,修正執行目錄
Connection refusedHDFS/MapReduce 服務未啟動檢查 jps 確認 NameNode/DataNode/JobTracker/TaskTracker 皆在運行

原理補充

蒙地卡羅法:在單位正方形內隨機撒點,落在內切圓(半徑 0.5)內的點數比例 ≈ π/4。Map 階段產生隨機點並計數,Reduce 階段彙總估算 Pi。

copyright © 萬盛學電腦網 all rights reserved