從核心機制到實戰調優:解決高併發下的檔案描述符耗盡
核心機制:檔案描述符與 open files table
- 進程開啟檔案/建立 Socket → 核心在「open files table」建立 file entry (記錄 inode、權限、位置等)。
- 檔案描述符 (fd) 是進程指向 open files table 的索引 (陣列下標)。
- 每個進程有獨立的 fd table,指向共享的 open files table。
- 系統級上限:
/proc/sys/fs/file-max (全系統 file entry 總數)。
- 使用者級上限:
ulimit -n (單進程最大 fd 數,預設 1024)。
查看與修改系統級限制
cat /proc/sys/fs/file-max # 查看
sysctl -a | grep fs.file-max # 同義
# 修改 /etc/sysctl.conf
fs.file-max = 1000000
sysctl -p # 生效
查看與修改使用者級限制
ulimit -n # 查看目前 Shell 限制
ulimit -n 65535 # 臨時修改 (需 root 或權限足夠)
# 永久修改 /etc/security/limits.conf
* soft nofile 65535
* hard nofile 65535
# * 代表所有用戶;soft 為當前生效值,hard 為上限;建議 2 的冪次增長 (1024→2048→4096...)
排查「Too many open files」實戰步驟
- 確認 Java 進程 PID。
lsof -p $PID 列出該進程所有開啟檔案/連線。
lsof -p $PID | wc -l 統計 fd 總數。
- 分析是否有連線/檔案未正確關閉 (洩漏)。
- 若確為合理高併發需求,按上述調大限制。
最佳實踐建議
- 程式碼層面:確保
try-with-resources 或 finally 關閉流/連線。
- 連線池設定最大連線數 ≤ (ulimit -n) / 進程數 的安全閾值。
- 監控 fd 使用趨勢 (Prometheus + node_exporter
process_open_fds)。