萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> 程式語言綜合

Python shelve 模組:輕量級持久化字典的完整指南

什麼是 shelve?

shelve 是 Python 標準庫提供的簡易持久化模組,底層以 dbm (或 gdbm/ndbm) 為儲存後端,將 Python 物件透過 pickle 序列化後以鍵值對形式存入磁碟。它的 API 與 dict 高度一致,適合儲存中小型結構化資料,無需架設資料庫伺服器。

基本操作速查

import shelve

# 開啟/建立資料庫(預設儲存為數個檔案:.dat, .dir, .bak)
with shelve.open('mydata') as db:
    # 寫入
    db['user:1001'] = {'name': 'Alice', 'age': 30, 'tags': ['vip', 'beta']}
    db['config'] = {'theme': 'dark', 'lang': 'zh-TW'}

    # 讀取
    print(db['user:1001'])        # {'name': 'Alice', 'age': 30, ...}
    print(db.get('nonexist', 'N/A'))  # 安全取值

    # 更新(注意:必須整個取出、修改、再存回)
    user = db['user:1001']
    user['age'] = 31
    db['user:1001'] = user        # 必須重新指派才會持久化

    # 刪除
    del db['config']

    # 遍歷
    for k in db:
        print(k, '->', db[k])

進階用法與陷阱

1. 同步寫入模式

# 預設 writeback=False,修改可變物件(list/dict)需手動回寫
# 若開啟 writeback=True,會在記憶體快取所有讀取物件,關閉時一次寫入
with shelve.open('mydata', writeback=True) as db:
    db['user:1001']['tags'].append('premium')  # 直接修改生效
    # 注意:大量資料時會佔用較多記憶體,關閉較慢

2. 並發存取限制

shelve 不支援多執行緒/多程序並發寫入。若有並發需求,請自行加鎖(threading.Lock 或 fcntl.flock),或改用 SQLite / Redis。

3. 物件序列化限制

  • 僅支援可被 pickle 序列化的物件(自訂類別需定義 __reduce__ 或使用 __getstate__/__setstate__)。
  • 不可儲存:開啟的檔案控制代碼、socket、執行緒鎖、資料庫連線等。

4. 檔案大小與效能

  • 單一資料庫檔案建議 < 100 MB,超過則讀寫變慢。
  • 頻繁更新大型字典/列表會導致整個物件重新序列化寫入,效能差。

實戰範例:簡易鍵值備忘錄 CLI

#!/usr/bin/env python3
import shelve, sys, cmd

class MemoShell(cmd.Cmd):
    prompt = 'memo> '
    intro = '簡易備忘錄 (help 顯示指令)'

    def __init__(self, dbpath='memo.db'):
        super().__init__()
        self.dbpath = dbpath

    def _db(self):
        return shelve.open(self.dbpath, writeback=True)

    def do_add(self, arg):
        '新增: add  '
        try:
            k, v = arg.split(maxsplit=1)
        except ValueError:
            print('用法: add key value')
            return
        with self._db() as db:
            db[k] = v
        print(f'已儲存 {k}')

    def do_get(self, key):
        '讀取: get '
        with self._db() as db:
            print(db.get(key, '找不到'))

    def do_list(self, _):
        '列出所有鍵'
        with self._db() as db:
            for k, v in db.items():
                print(f'{k}: {v}')

    def do_del(self, key):
        '刪除: del '
        with self._db() as db:
            if key in db:
                del db[key]
                print('已刪除')
            else:
                print('不存在')

    def do_quit(self, _):
        '離開'
        return True

if __name__ == '__main__':
    MemoShell().cmdloop()

替代方案比較

方案適用場景優點缺點
shelve單機、小資料量、無結構查詢零配置、API 簡單、標準庫無並發、無索引、大資料效能差
sqlite3結構化資料、需 SQL 查詢、輕量並發標準 SQL、ACID、單一檔案需定義 Schema、序列化需自行處理
json/yaml 檔案設定檔、人工可讀、版控友善純文字、跨語言、Git diff 友善整檔讀寫、無索引、大檔案慢
redis高效能、分散式、快取、發布訂閱極快、資料結構豐富、支援叢集需額外伺服器、資料易失性(除非開啟 AOF/RDB)

最佳實務總結

  1. 資料量 < 10 萬筆、單機、單執行緒 → shelve 最省事。
  2. 需查詢、排序、篩選 → 改用 sqlite3。
  3. 跨程序/機器共享 → redis 或資料庫。
  4. 永遠使用 with shelve.open(...) as db: 確保正確關閉同步。
  5. 避免在 writeback=True 下長時間持有大量快取物件。
copyright © 萬盛學電腦網 all rights reserved