萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 伺服器教學

MongoDB 記憶體使用情況深度分析與監控實戰

前言

MongoDB 作為一款基於分散式檔案儲存的高效能資料庫,採用 C++ 編寫,旨在為 Web 應用提供可擴展的高性能資料儲存方案。它介於關聯式資料庫與非關聯式資料庫之間,功能豐富且最接近關聯式資料庫的 NoSQL 產品。其資料結構鬆散,採用類似 JSON 的 BSON 格式,支援複雜資料型別,查詢語言強大,語法類似面向物件查詢,幾乎能實現關聯式資料庫單表查詢的大部分功能,並支援索引建立。

現象觀察:虛擬記憶體與物理記憶體的巨大差距

透過 ps aux | grep mongod 觀察進程資訊:

$ ps aux | grep mongod
mongo      26994  9.0 20.0 797264324 13243052 ?  Sl  May16 117:03 /path/to/mongodb/bin/mongod

虛擬記憶體高達 760GB,但物理記憶體(RSS)僅 12.6GB,而該機器實際擁有 64GB 記憶體。這看起來 MongoDB 似乎並未佔用多少記憶體。

系統層面的記憶體視角

使用 free -m 查看系統記憶體狀態:

$ free -m
             total       used       free     shared    buffers     cached
Mem:         64544      64279        265          0        134      60413
-/+ buffers/cache:  3731      60813
Swap:        31999          0      31999

記憶體幾乎被佔滿,絕大部分為 cached(檔案系統快取)。MongoDB 透過 mmap 方式讓作業系統處理持久化與快取:每個資料檔案直接映射到虛擬記憶體位址,存取時若頁面不在記憶體中,系統會嘗試載入。這些記憶體均計入 cache。

官方文檔與工具實測

官方文檔指出:top 或 ps 中的 RSIZE 顯示的是機器全部記憶體大小,因為 MongoDB 會盡可能佔用所有記憶體。但實際上這些快取並未計入其中,因此無法從 top/ps 判斷 MongoDB 實際記憶體使用量。free 雖可見系統記憶體用量,但無法區分 MongoDB 具體佔用多少。

幸好有 vmtouch 工具,可檢查檔案在快取中的情況,並能將檔案載入或踢出快取。對 MongoDB 所有資料檔案檢查快取載入情況,即可得知 MongoDB 實際快取了多少資料:

$ vmtouch -m4G /path/to/mongodb/data/
Files: 256
Directories: 3
Resident Pages: 15465901/100219772  58G/382G  15.4%
Elapsed: 4.072 seconds

-m4G 為檢查檔案大小限制(預設 500M,MongoDB 資料檔案通常超過)。實際快取使用 58GB,較為合理。Resident Pages 左側數字為頁數,乘以頁大小(通常 4KB,可用 getconf PAGESIZE 查看)即為記憶體用量。

NUMA 架構下的考量

MongoDB 在 NUMA 機器上運行且記憶體固定到單節點時會警告:

WARNING: You are running on a NUMA machine.
We suggest launching mongod like this to avoid performance problems:
numactl --interleave=all mongod [other options]

但 MongoDB 快取由作業系統管理,NUMA 影響有限。記憶體較大時 MongoDB 本身難以耗盡單節點記憶體,此時啟用 numactl --interleave=all 作用不大。解決之道或許只能是增加記憶體、分片或換用 SSD。

copyright © 萬盛學電腦網 all rights reserved