萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> 程式語言綜合

Python struct 模組詳解:二進制數據打包/解包、C 類型映射、網絡協議編解碼實戰

為什麼需要 struct?

Python 原生類型(int、float、str)與 C 結構體/網絡協議的二進制佈局不直接對應。struct 模組提供**格式字符串**描述二進制佈局,實現 Python 值 ↔ 字節流(bytes)的雙向轉換,是網絡編程、文件格式解析、C 擴展交互、嵌入式通訊的基石。

核心函數速查

函數用途簽名
pack(fmt, v1, v2, ...)值 → bytesbytes
unpack(fmt, buffer)bytes → 元組tuple
calcsize(fmt)計算格式佔用字節數int
pack_into(fmt, buffer, offset, v1, ...)寫入預分配緩衝區None
unpack_from(fmt, buffer, offset=0)從緩衝區偏移解包tuple
iter_unpack(fmt, buffer)迭代解包多個結構iterator

格式字符串完整對照表(C ↔ Python)

格式C 類型Python 類型標準大小備註
xpad byte無1對齊填充
ccharbytes (len=1)1
bsigned charint1-128~127
Bunsigned charint10~255
?_Boolbool1
hshortint2
Hunsigned shortint2
iintint4
Iunsigned intint4
llongint4C long 大小平台相關
Lunsigned longint4
qlong longint88 字節整數
Qunsigned long longint8
ffloatfloat4IEEE 754 single
ddoublefloat8IEEE 754 double
schar[]bytesn10s 固定 10 字節
pchar[] (Pascal string)bytesn首字節長度
Pvoid*int平台相關指針大小

字節序/對齊/大小 前綴字符

字符字節序大小/對齊
@本地本地(預設,平台相關)
=本地標準(無對齊填充)
<小端標準
>大端標準
!網絡(大端)標準

網絡協議必用 ! 或 >**,確保跨平台一致性。

基礎示例


import struct

# 打包兩個 int (小端)
data = struct.pack('

進階:pack_into / unpack_from 零拷貝緩衝區操作


from ctypes import create_string_buffer
import struct

buf = create_string_buffer(12)  # 可變 bytes 緩衝區
print(buf.raw.hex())            # 000000000000000000000000

struct.pack_into('

適用於高效能網絡收發、共享內存、mmapped 文件、硬體寄存器映射。

實戰:自定義二進制協議編解碼


# 協議定義:
# Magic(2B) | Version(1B) | Cmd(1B) | Seq(4B) | PayloadLen(2B) | Payload(N) | CRC16(2B)
# 全部大端 (!)
HEADER_FMT = '!HBBBH'
HEADER_SIZE = struct.calcsize(HEADER_FMT)

def encode_packet(cmd: int, seq: int, payload: bytes) -> bytes:
    header = struct.pack(HEADER_FMT, 0xA5A5, 1, cmd, seq, len(payload))
    crc = crc16(header + payload)  # 假設有 crc16 函數
    return header + payload + struct.pack('!H', crc)

def decode_packet(data: bytes):
    if len(data) < HEADER_SIZE + 2:
        raise ValueError("Packet too short")
    magic, ver, cmd, seq, plen = struct.unpack_from(HEADER_FMT, data, 0)
    if magic != 0xA5A5: raise ValueError("Bad magic")
    payload = data[HEADER_SIZE:HEADER_SIZE+plen]
    crc = struct.unpack_from('!H', data, HEADER_SIZE+plen)[0]
    # 校驗 CRC...
    return cmd, seq, payload

常見坑點與避坑指南

  1. 平台相關大小:@ (默認) 使用本地對齊,**跨平台交互必須指定 =, <, >, !**。
  2. 有符號/無符號溢出:struct.pack('B', 300) → struct.error。預先 & 0xFF 或用 ctypes.c_ubyte。
  3. s 格式固定長度:pack('10s', b'hi') → b'hi\x00\x00\x00\x00\x00\x00\x00\x00',解包時需 .rstrip(b'\x00')。
  4. 大數組解包:unpack('1000i', data) 創建巨大元組,改用 iter_unpack 或 numpy.frombuffer。
  5. 對齊填充:@hi 可能在 short 後插入 2 字節 padding,=hi 無 padding。調試用 calcsize 驗證。

效能優化技巧

  • 預編譯 Struct 對象:st = struct.Struct('!ii'),調用 st.pack(), st.unpack(), st.unpack_from(),避免重複解析格式串。
  • 大量數值數據優先用 array.array, numpy, memoryview 零拷貝轉換。
  • struct.unpack_from 直接從 bytearray/memoryview 讀取,無切片拷貝。

總結

struct 是 Python 處理二進制數據的瑞士軍刀。掌握**格式字符串語法、字節序控制、Struct 對象預編譯、緩衝區零拷貝操作**,能高效完成網絡協議解析、文件格式讀寫、C 互操作等任務。現代高效能場景建議配合 memoryview + numpy 或 construct/kaitai-struct 等聲明式解析庫使用。

copyright © 萬盛學電腦網 all rights reserved