MapReduce 作業常需第三方庫 (JSON、資料庫驅動、工具包等)。Hadoop 提供兩種主流方式將依賴 JAR 分發到叢集節點:
lib/ 目錄,放入所有依賴 JARlib/ 整包進 JAR (Maven Shade/Assembly Plugin、Gradle ShadowJar)your-job.jar
├── com/your/package/... (你的類別)
└── lib/
├── jackson-core-2.9.9.jar
├── mysql-connector-java-8.0.19.jar
└── ...
lib/ 到分散式快取-libjars 直接指定 (臨時/少量依賴)hadoop jar your-job.jar com.your.MainClass \
-libjars /path/to/jackson-core-2.9.9.jar,/path/to/mysql-connector-java-8.0.19.jar
./tmp/jars/ 並加入 Classpath| 維度 | lib 目錄打包 | -libjars 指定 |
|---|---|---|
| 自動化程度 | 高 (建構腳本整合) | 低 (手動/腳本維護路徑) |
| 版本一致性 | 強 (鎖定在構建產物) | 弱 (易發生版本漂移) |
| 適用場景 | 正式專案、CI/CD 流程 | 臨時測試、少量依賴、無建構流程 |
| 叢集負載 | 分散式快取自動管理 | 相同機制 |
/shared/lib/)mapreduce.job.classpath.files 或環境變數 HADOOP_CLASSPATH選對依賴管理方式,讓 MapReduce 作業部署穩定、可重現、易維護。