萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> ASP.NET 程式設計

.NET 應用程式記憶體優化實戰:從 80MB 降至 10MB 的三階段演進

案例背景

專案需求:將 20 萬筆證券數據 (10MB 文本) 載入記憶體,支援前綴匹配查詢,返回前 10 筆最佳匹配。初始實現佔用 70-80MB 記憶體,目標壓縮至 20MB 以下。

階段一:算法與資料結構優化 (80MB → 40MB)

問題:中間集合爆炸


// 原始邏輯:三階段管線產生大量臨時集合
var candidates = allData.Where(x => x.Code.Contains(input) || x.Name.Contains(input)).ToList(); // 4萬對象
var scored = candidates.Select(x => new { Item = x, Score = CalculateScore(x, input) }).ToList(); // 4萬對象
var top10 = scored.OrderBy(x => x.Score).Take(10).ToList(); // 排序開銷

優化:單遍歷 + 固定大小有序容器


public class TopNSelector
{
    private readonly int _capacity;
    private readonly List _items = new List();

    public TopNSelector(int capacity) => _capacity = capacity;

    public void TryAdd(ScoredItem item)
    {
        if (_items.Count < _capacity)
        {
            _items.Add(item);
            _items.Sort((a, b) => a.Score.CompareTo(b.Score)); // 升序:分數越小越優
        }
        else if (item.Score < _items[_capacity - 1].Score) // 優於最差
        {
            _items[_capacity - 1] = item;
            _items.Sort((a, b) => a.Score.CompareTo(b.Score));
        }
    }

    public IReadOnlyList GetTopN() => _items;
}

// 使用
var selector = new TopNSelector(10);
foreach (var record in allRecords) // 單次遍歷,無中間集合
{
    if (Matches(record, input))
    {
        selector.TryAdd(new ScoredItem(record, CalculateScore(record, input)));
    }
}
var results = selector.GetTopN();

效果:記憶體 80MB → 35MB,GC 壓力驟降,查詢延遲 50ms → 5ms。

階段二:資料表示精簡 (35MB → 18MB)

問題:完整物件圖過度載入


// 原始:每筆記錄完整物件
class Security { string Code, Name, Pinyin, Market, Industry, ... 15欄位; }

優化:結構體 + 緊湊陣列 + 僅載入必要欄位


// 僅需 4 個欄位用於搜尋:代碼、名稱、拼音、市場
[StructLayout(LayoutKind.Sequential, Pack = 1)]
public struct SecurityCompact
{
    public int Code;           // 600000 → int (4 bytes)
    public int NameOffset;     // 字符串池偏移
    public int PinyinOffset;   // 字符串池偏移
    public byte MarketType;    // 枚舉 byte
}

// 字符串池:所有名稱/拼音拼接為單一大字符串 + 偏移索引
// 類似 String Interning / Rope 數據結構
public class SecurityDatabase
{
    public SecurityCompact[] Records;      // 連續記憶體,無物件頭開銷
    public string StringPool;              // "浦發銀行PFYH上證A股中國石油ZGSH..."
    public int[] NameOffsets;              // 對應 Records[i].NameOffset
    public int[] PinyinOffsets;
    public int[] NameLengths;
    public int[] PinyinLengths;
}

效果:17 萬筆 × (4+4+4+1) = ~2.2MB 結構體陣列 + 字符串池 ~10MB = **總計 ~12MB**。

關鍵技術點

  • `struct` 避免物件頭 (8-16 bytes) 與引用間接
  • `Pack=1` 緊湊對齊
  • 字符串池消除重複字符串物件
  • `ArrayPool` 租借大陣列減少 LOH 壓力
  • `Span`/`Memory` 零拷貝切片

階段三:非托管記憶體 / C++ 互操作 (18MB → 9MB)

動機

  • .NET 物件最小 24 bytes (含同步塊、方法表指標)
  • GC 掃描開銷隨物件數線性增長
  • 大型陣列進入 LOH,不易壓縮,易碎片化

C++ 側實現 (SecuData.dll)

// SecuData.h
extern "C" __declspec(dllexport) void* LoadData(const char* filePath);
extern "C" __declspec(dllexport) int Search(void* handle, const char* query, char* resultBuffer, int bufferSize);
extern "C" __declspec(dllexport) void UnloadData(void* handle);

// SecuData.cpp - 關鍵點:std::vector + 單一字符串池
// 記憶體佔用 = 原始數據大小 + 微小索引開銷 ≈ 10MB
// 查詢:二分查找 (已排序) + 字串比較,極快

C# 側 P/Invoke 封裝


public class NativeSecuritySearch : IDisposable
{
    private IntPtr _handle = IntPtr.Zero;
    private const string DllName = "SecuData.dll";

    [DllImport(DllName, CallingConvention = CallingConvention.Cdecl, CharSet = CharSet.Ansi)]
    private static extern IntPtr LoadData(string filePath);

    [DllImport(DllName, CallingConvention = CallingConvention.Cdecl, CharSet = CharSet.Ansi)]
    private static extern int Search(IntPtr handle, string query, StringBuilder resultBuffer, int bufferSize);

    [DllImport(DllName, CallingConvention = CallingConvention.Cdecl)]
    private static extern void UnloadData(IntPtr handle);

    public bool Initialize(string dataFilePath)
    {
        _handle = LoadData(dataFilePath);
        return _handle != IntPtr.Zero;
    }

    public string Search(string query)
    {
        var buffer = new StringBuilder(1024 * 10); // 10KB 緩衝區
        int len = Search(_handle, query, buffer, buffer.Capacity);
        return len > 0 ? buffer.ToString(0, len) : "";
    }

    public void Dispose()
    {
        if (_handle != IntPtr.Zero)
        {
            UnloadData(_handle);
            _handle = IntPtr.Zero;
        }
    }
}

效能對比

方案記憶體查詢延遲GC 壓力維護成本
原始 List<Class>80 MB50 ms極高低
TopN + List<Class>35 MB5 ms中低
Struct + String Pool12 MB3 ms低中
C++ 非托管 + P/Invoke9 MB1 ms零高

通用記憶體優化檢查清單

  1. 測量先行:dotMemory、PerfView、GC.GetTotalMemory、BenchmarkDotNet
  2. 消除不必要分配:StringBuilder、ArrayPool、物件池、結構體、Span
  3. 精簡資料模型:只載入必要欄位、結構體陣列、字符串池、枚舉壓縮
  4. 控制生命週期:IDisposable、using、弱引用、緩存淘汰策略
  5. 避免大物件堆 (LOH) 碎片:大緩衝區用 ArrayPool、固定大小、長期存活物件
  6. 非同步流式處理:`IAsyncEnumerable`、管道流、避免全量載入
  7. 必要時跨邊界:P/Invoke、COM、gRPC、獨立進程隔離大記憶體組件

結語

記憶體優化是「算法 → 資料結構 → 執行階段 → 非托管」的層層深入。大多數業務場景,**階段一+二即可達標** (10-20MB 級別)。階段三引入 C++ 互操作屬「核武器級」選項:極致效能換取極高維護成本 (編譯工具鏈、部署複雜度、除錯困難、跨平台受限)。決策前請務必以 **Profile 數據** 為準,而非直覺。

copyright © 萬盛學電腦網 all rights reserved