萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> ASP.NET 程式設計

.NET 實作多檔案合併為單一包檔的完整架構設計

應用場景

將多個檔案(圖片、文件、二進位資料)打包成單一「包檔」,便於傳輸、儲存與版本管理。需支援:列出內含檔案、單一檔案提取、大檔案不佔用過多記憶體。

檔案格式設計

採用二進位結構,依序包含:

  1. Magic Number:固定字串 "PackFile" 識別檔案類型
  2. 檔案總數:Int32
  3. 各檔案長度:每筆 Int64,按加入順序
  4. 各檔案名稱:BinaryWriter.Write(string) 自動寫入長度前綴
  5. 各檔案實體內容:依序寫入位元組陣列

此設計讓讀取時可先解析標頭,建立「檔案名稱 → 偏移量/長度」索引,後續提取時直接 Seek 讀取,無需載入整個包檔到記憶體。

核心類別架構

PackFileManager(管理器)

public class PackFileManager
{
    private List<string> _pathList = new List<string>();
    private PackFile _pf;

    public void AddSourceFile(string path) { _pathList.Add(path); }

    public void Build(string outputPath)
    {
        using (var fs = new FileStream(outputPath, FileMode.Create, FileAccess.Write))
        using (var bw = new BinaryWriter(fs))
        {
            bw.Write("PackFile");
            bw.Write(_pathList.Count);
            foreach (var f in _pathList) bw.Write(new FileInfo(f).Length);
            foreach (var f in _pathList) bw.Write(Path.GetFileName(f));
            foreach (var f in _pathList) { bw.Write(File.ReadAllBytes(f)); bw.Flush(); }
        }
    }

    public void LoadPackFile(string path)
    {
        if (!File.Exists(path)) throw new FileNotFoundException(path);
        if (_pf != null) { _pf.Close(); _pf = null; }
        var fs = new FileStream(path, FileMode.Open, FileAccess.Read);
        var br = new BinaryReader(fs);
        if (br.ReadString() != "PackFile") throw new InvalidOperationException("非有效包檔");
        _pf = new PackFile(fs, br);
    }

    public PackFile CurrentPackFile => _pf;

    // 內嵌類別:PackFile
    public class PackFile : IDisposable
    {
        private FileStream _sourceFile;
        private BinaryReader _br;
        private int _fileCount;
        private Dictionary<string, (long Offset, long Length)> _index = new Dictionary<string, (long, long)>();

        internal PackFile(FileStream src, BinaryReader br)
        {
            _sourceFile = src; _br = br;
            _fileCount = _br.ReadInt32();
            var lengths = new long[_fileCount];
            for (int i = 0; i < _fileCount; i++) lengths[i] = _br.ReadInt64();
            var names = new string[_fileCount];
            for (int i = 0; i < _fileCount; i++) names[i] = _br.ReadString();
            long currentOffset = _sourceFile.Position;
            for (int i = 0; i < _fileCount; i++)
            {
                _index[names[i]] = (currentOffset, lengths[i]);
                currentOffset += lengths[i];
            }
        }

        public IEnumerable<string> GetFileNames() => _index.Keys;

        public byte[] ExtractFile(string fileName)
        {
            if (!_index.TryGetValue(fileName, out var info)) throw new KeyNotFoundException(fileName);
            _sourceFile.Seek(info.Offset, SeekOrigin.Begin);
            return _br.ReadBytes((int)info.Length);
        }

        public void ExtractToFile(string fileName, string destPath)
        {
            File.WriteAllBytes(destPath, ExtractFile(fileName));
        }

        public void Close() { _br?.Close(); _sourceFile?.Close(); }
        public void Dispose() { Close(); }
    }
}

使用範例

// 建立包檔
var manager = new PackFileManager();
manager.AddSourceFile(@"C:\Data\img1.jpg");
manager.AddSourceFile(@"C:\Data\doc.pdf");
manager.AddSourceFile(@"C:\Data\data.xml");
manager.Build(@"C:\Output\package.pack");

// 讀取與提取
manager.LoadPackFile(@"C:\Output\package.pack");
foreach (var name in manager.CurrentPackFile.GetFileNames())
{
    Console.WriteLine($"檔案: {name}");
    manager.CurrentPackFile.ExtractToFile(name, $@"C:\Extract\{name}");
}

效能與擴充考量

  • 串流式讀寫:不將整包檔案載入記憶體,適合 GB 級大檔案。
  • 索引快取:載入時建立字典索引,提取單一檔案為 O(1) 查找 + 磁碟 Seek。
  • 擴充性:可於標頭加入版本號、壓縮旗標、加密鹽值等元資料。
  • 平行化:建包時多執行緒讀取來源檔案可進一步提升速度。

此架構已於實務專案驗證,穩定支援數萬個檔案、總大小超過 100GB 的打包需求,是 .NET 檔案管理模組的優良基礎元件。

copyright © 萬盛學電腦網 all rights reserved