Hadoop 內建的 hadoop-examples.jar 包含經典的 MapReduce 圓周率計算範例,透過蒙地卡羅方法估算 Pi 值。操作看似簡單,但執行目錄與參數順序極易出錯,導致 DataNode 掛掉或例外狀況滿天飛。
[hadoop@master hadoop-1.0.3]$ hadoop jar hadoop-examples-1.0.3.jar pi 10 100
/home/hadoop/hadoop-1.0.3),因為 hadoop-examples-1.0.3.jar 位於此目錄。在其他目錄執行會找不到 JAR 或類別路徑錯誤,導致 DataNode 異常終止。pi <maps> <samples>
10 = 啟動 10 個 Map 任務100 = 每個 Map 任務採樣 100 點start-dfs.sh && start-mapred.shhadoop dfsadmin -reportNumber of Maps = 10
Samples per Map = 100
...
Job Finished in 12.345 seconds
Estimated value of Pi is 3.14160000000000000000
| 錯誤現象 | 原因 | 解決 |
|---|---|---|
| ClassNotFoundException | 不在 Hadoop 根目錄執行 | cd $HADOOP_HOME 後再執行 |
| DataNode 掛掉 | 類別路徑錯誤導致任務失敗連鎖 | 同上,修正執行目錄 |
| Connection refused | HDFS/MapReduce 服務未啟動 | 檢查 jps 確認 NameNode/DataNode/JobTracker/TaskTracker 皆在運行 |
蒙地卡羅法:在單位正方形內隨機撒點,落在內切圓(半徑 0.5)內的點數比例 ≈ π/4。Map 階段產生隨機點並計數,Reduce 階段彙總估算 Pi。