序列化是將記憶體物件轉為可儲存/傳輸格式的過程。本文深度解析 Python 標準庫 pickle/cPickle、協議版本、安全性風險、跨語言替代方案 JSON/MessagePack,並提供最佳實踐指南。
核心概念
- 序列化:物件 → 位元組流
- 反序列化:位元組流 → 物件
- Python 術語:
pickling / unpickling
pickle / cPickle 基礎用法
try:
import cPickle as pickle # Python 2: C 實現,快 10-100 倍
except ImportError:
import pickle # Python 3: cPickle 已合併為 _pickle
d = dict(name='Bob', age=20, score=88)
# 序列化為 bytes
data = pickle.dumps(d)
# b"(dp0\nS'age'\np1\nI20\nsS'score'\np2\nI88\nsS'name'\np3\nS'Bob'\np4\ns."
# 直接寫入檔案
with open('dump.pkl', 'wb') as f:
pickle.dump(d, f)
# 反序列化
with open('dump.pkl', 'rb') as f:
d2 = pickle.load(f)
# {'age': 20, 'score': 88, 'name': 'Bob'}
協議版本
| 版本 | Python 版本 | 特性 | 效能 |
| 0 | 所有 | 文字格式、可讀 | 最慢 |
| 1 | 所有 | 舊二進制格式 | 中等 |
| 2 | 2.3+ | 新二進制格式 | 快 |
| 3 | 3.0+ | bytes 物件支援、預設 | 最快 |
| 4 | 3.4+ | 大物件支援、更佳效能 | 最快 |
| 5 | 3.8+ | out-of-band 數據、緩衝協議 | 極大物件最佳 |
# 指定協議
pickle.dump(obj, f, protocol=pickle.HIGHEST_PROTOCOL)
data = pickle.dumps(obj, protocol=3)
可/不可序列化的物件
| 可序列化 | 不可序列化 |
| 基本型別、列表、元組、字典、集合 | 檔案控制代碼、Socket、資料庫連線 |
| 函式、類別(頂層定義) | 執行緒鎖、生成器迭代器 |
| 模組級別物件 | Lambda(部分情況)、內部類別 |
實作 __reduce__/__getstate__ 的自訂類別 | 動態建立的類別/函式 |
安全性警告:永遠不要 unpickle 不受信任資料
# 惡意 pickle 可執行任意代碼!
import pickle, subprocess, os
class Exploit:
def __reduce__(self):
return (subprocess.call, (('touch', '/tmp/pwned'),))
pickle.dumps(Exploit()) # 產生惡意載荷
# 攻擊者傳給你的程式 unpickle → 任意代碼執行
鐵律:pickle 僅用於完全信任的資料(自家產生、簽名驗證、內部 RPC)。
自訂序列化:__getstate__ / __setstate__
class Connection:
def __init__(self, host, port):
self.host = host
self.port = port
self.sock = socket.create_connection((host, port)) # 不可序列化
def __getstate__(self):
return {'host': self.host, 'port': self.port} # 排除 sock
def __setstate__(self, state):
self.host = state['host']
self.port = state['port']
self.sock = socket.create_connection((self.host, self.port))
跨語言替代方案對比
| 格式 | Python 模組 | 跨語言 | 效能 | 型別豐富度 | 安全性 |
| JSON | json | ✅ 標準 | 中 | 低(無 tuple/set/自訂類) | ✅ 安全 |
| MessagePack | msgpack | ✅ 廣泛 | 高 | 中(支援二進制、擴展型別) | ✅ 安全 |
| Protocol Buffers | protobuf | ✅ 強型別 | 極高 | 高(需定義 .proto) | ✅ 安全 |
| pickle | pickle | ❌ Python 專用 | 高 | 極高(任意物件圖) | ❌ 危險 |
選型建議
- 內部 RPC、快取、同語言微服務 →
pickle (protocol=4/5) + 信任邊界
- Web API、配置檔、跨語言、持久化 →
JSON
- 高效能、二進制、跨語言 →
MessagePack / protobuf
- 人類可讀、除錯友善 →
JSON (indent=2)