萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 伺服器教學

Hadoop MapReduce 依賴 JAR 包處理兩大方案:lib 目錄打包與命令行 -libjars 指定

MapReduce 作業常需第三方庫 (JSON、資料庫驅動、工具包等)。Hadoop 提供兩種主流方式將依賴 JAR 分發到叢集節點:

方案一:專案打包含 lib 目錄 (推薦,Maven/Gradle 友善)

  1. 專案根目錄建立 lib/ 目錄,放入所有依賴 JAR
  2. 打包時將 lib/ 整包進 JAR (Maven Shade/Assembly Plugin、Gradle ShadowJar)
  3. 最終 JAR 結構:
    your-job.jar
    ├── com/your/package/... (你的類別)
    └── lib/
        ├── jackson-core-2.9.9.jar
        ├── mysql-connector-java-8.0.19.jar
        └── ...
    
  4. 執行時無需額外參數,Hadoop 會自動解壓 lib/ 到分散式快取

方案二:命令行 -libjars 直接指定 (臨時/少量依賴)

hadoop jar your-job.jar com.your.MainClass \
  -libjars /path/to/jackson-core-2.9.9.jar,/path/to/mysql-connector-java-8.0.19.jar
  • 多個 JAR 以逗號分隔,**不可有空格**
  • 路徑需為客戶端可讀取的本地/HDFS 路徑
  • Hadoop 會自動分發至各 TaskAttempt 節點的 ./tmp/jars/ 並加入 Classpath

比較與建議

維度lib 目錄打包-libjars 指定
自動化程度高 (建構腳本整合)低 (手動/腳本維護路徑)
版本一致性強 (鎖定在構建產物)弱 (易發生版本漂移)
適用場景正式專案、CI/CD 流程臨時測試、少量依賴、無建構流程
叢集負載分散式快取自動管理相同機制

進階:共享庫優化 (大量作業共用依賴)

  • 將常用 JAR 上傳 HDFS 共享路徑 (如 /shared/lib/)
  • 設定 mapreduce.job.classpath.files 或環境變數 HADOOP_CLASSPATH
  • 避免重複分發,減少網路與磁碟 I/O

選對依賴管理方式,讓 MapReduce 作業部署穩定、可重現、易維護。

copyright © 萬盛學電腦網 all rights reserved