萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> 程式語言綜合

Python 序列化存儲完整解析:pickle/cPickle、JSON、序列化協議版本與安全性考量

序列化是將記憶體物件轉為可儲存/傳輸格式的過程。本文深度解析 Python 標準庫 pickle/cPickle、協議版本、安全性風險、跨語言替代方案 JSON/MessagePack,並提供最佳實踐指南。

核心概念

  • 序列化:物件 → 位元組流
  • 反序列化:位元組流 → 物件
  • Python 術語:pickling / unpickling

pickle / cPickle 基礎用法

try:
    import cPickle as pickle  # Python 2: C 實現,快 10-100 倍
except ImportError:
    import pickle  # Python 3: cPickle 已合併為 _pickle

d = dict(name='Bob', age=20, score=88)

# 序列化為 bytes
data = pickle.dumps(d)
# b"(dp0\nS'age'\np1\nI20\nsS'score'\np2\nI88\nsS'name'\np3\nS'Bob'\np4\ns."

# 直接寫入檔案
with open('dump.pkl', 'wb') as f:
    pickle.dump(d, f)

# 反序列化
with open('dump.pkl', 'rb') as f:
    d2 = pickle.load(f)
# {'age': 20, 'score': 88, 'name': 'Bob'}

協議版本

版本Python 版本特性效能
0所有文字格式、可讀最慢
1所有舊二進制格式中等
22.3+新二進制格式快
33.0+bytes 物件支援、預設最快
43.4+大物件支援、更佳效能最快
53.8+out-of-band 數據、緩衝協議極大物件最佳
# 指定協議
pickle.dump(obj, f, protocol=pickle.HIGHEST_PROTOCOL)
data = pickle.dumps(obj, protocol=3)

可/不可序列化的物件

可序列化不可序列化
基本型別、列表、元組、字典、集合檔案控制代碼、Socket、資料庫連線
函式、類別(頂層定義)執行緒鎖、生成器迭代器
模組級別物件Lambda(部分情況)、內部類別
實作 __reduce__/__getstate__ 的自訂類別動態建立的類別/函式

安全性警告:永遠不要 unpickle 不受信任資料

# 惡意 pickle 可執行任意代碼!
import pickle, subprocess, os

class Exploit:
    def __reduce__(self):
        return (subprocess.call, (('touch', '/tmp/pwned'),))

pickle.dumps(Exploit())  # 產生惡意載荷
# 攻擊者傳給你的程式 unpickle → 任意代碼執行

鐵律:pickle 僅用於完全信任的資料(自家產生、簽名驗證、內部 RPC)。

自訂序列化:__getstate__ / __setstate__

class Connection:
    def __init__(self, host, port):
        self.host = host
        self.port = port
        self.sock = socket.create_connection((host, port))  # 不可序列化
    
    def __getstate__(self):
        return {'host': self.host, 'port': self.port}  # 排除 sock
    
    def __setstate__(self, state):
        self.host = state['host']
        self.port = state['port']
        self.sock = socket.create_connection((self.host, self.port))

跨語言替代方案對比

格式Python 模組跨語言效能型別豐富度安全性
JSONjson✅ 標準中低(無 tuple/set/自訂類)✅ 安全
MessagePackmsgpack✅ 廣泛高中(支援二進制、擴展型別)✅ 安全
Protocol Buffersprotobuf✅ 強型別極高高(需定義 .proto)✅ 安全
picklepickle❌ Python 專用高極高(任意物件圖)❌ 危險

選型建議

  • 內部 RPC、快取、同語言微服務 → pickle (protocol=4/5) + 信任邊界
  • Web API、配置檔、跨語言、持久化 → JSON
  • 高效能、二進制、跨語言 → MessagePack / protobuf
  • 人類可讀、除錯友善 → JSON (indent=2)
copyright © 萬盛學電腦網 all rights reserved