Hadoop 默認配置面向通用場景,生產集群需根據硬件規格、業務負載(CPU 密集/IO 密集/Shuffle 密集)進行針對性調優。本文基於官方配置指南,梳理關鍵參數、調優方向與實戰經驗。
| 參數 | 默認值 | 建議值 | 調優方向 | 適用場景 |
|---|---|---|---|---|
hadoop.tmp.dir | /tmp | 每磁盤一目錄,如 /data1/tmp,/data2/tmp | 分散 IO、避免系統盤填滿 | 多磁盤節點 |
fs.trash.interval | 0(關閉) | 1440(1天)~ 10080(7天) | 啟用回收站防誤刪 | 所有生產集群 |
fs.inmemory.size.mb | 100 | 200-512 | Reduce 端合併 Map 輸出緩衝 | 大 Shuffle 作業 |
io.sort.factor (mapreduce.task.io.sort.factor) | 10 | 50-100 | 歸並排序並發流數,減少溢寫輪數 | 大數據量 Sort/Join |
io.sort.mb (mapreduce.task.io.sort.mb) | 100 | 200-512 | 單 Map 端排序緩衝區 | 內存充足集群 |
io.file.buffer.size (file.stream-buffer-size) | 4096 | 131072 (128KB) | SequenceFile 讀寫緩衝,減少系統調用 | 大順序讀寫 |
dfs.blocksize | 64MB (67108864) | 128MB (134217728) 或 256MB | 減少 NameNode 元數據、增加 Map 並行度 | 大文件為主、TB/PB 級集群 |
dfs.namenode.handler.count | 10 | 40-100 | NameNode RPC 處理線程,應對高並發客戶端 | 大規模集群、高 QPS |
mapreduce.map.java.opts / mapreduce.reduce.java.opts | -Xmx200m | -Xmx1g 到 -Xmx4g | 任務 JVM 堆內存,防 OOM | 內存大、UDF 複雜 |
mapreduce.jobtracker.handler.count (mapreduce.jobtracker.handler.count) | 10 | TaskTracker 數 × 4% | JT RPC 線程池 | 大集群 |
mapreduce.reduce.shuffle.parallelcopies | 5 | 10-30 | Reduce 並行拉取 Map 輸出數 | 高帶寬、多 Map 輸出 |
mapreduce.tasktracker.http.threads | 40 | 80-160 | Shuffle HTTP 服務線程 | 大規模 Shuffle |
mapreduce.map.output.compress | false | true | Map 輸出壓縮,換 CPU 換帶寬 | 網絡瓶頸、Shuffle 量大 |
mapreduce.map.output.compress.codec | DefaultCodec | Snappy / LZ4 / Zstd | 壓縮速度/比率平衡 | 所有壓縮場景 |
mapreduce.reduce.shuffle.merge.percent | 0.66 | 0.7-0.8 | 內存合併閾值,提前合併減少磁盤溢寫 | 內存充足 |
mapreduce.reduce.shuffle.memory.limit.percent | 0.25 | 0.3-0.4 | 單 Shuffle 最大內存佔比 | 大 Reduce 任務 |
mpstat、pidstat、GC 頻率free、JVM Heap/Off-heap、Container 内存iostat -xmt 1、await、%util、吞吐sar -n DEV 1、帶寬利用率、重傳率mapred.*mapreduce.*、yarn.*hadoop version 對應文檔hdfs dfsadmin -report、yarn top、mapred job -history 定期巡檢