UTF-8 中文佔 3 位元組(部分擴展字 4 位元組)。直接對 bytes 或 str (Py2) 切片,極易切斷字元導致亂碼。
# -*- coding: utf-8 -*-
s = u'中文截取' # Unicode 字串 (Py2 用 u 前綴,Py3 預設即 Unicode)
result = s[:3] # 直接切片安全
print(result) # 中文截
關鍵: 在 Unicode 字串 (Python 3 str、Python 2 unicode) 上切片,按「字元」而非「位元組」計算,完全安全。
raw = '中文截取'.encode('utf-8') # b'\xe4\xb8\xad\xe6\x96\x87\xe6\x88\xaa\xe5\x8f\x96'
# 錯誤示範
print(raw[:6]) # 只取前 6 bytes -> 截斷第 3 字
# 正確示範
decoded = raw.decode('utf-8') # 還原為 Unicode
sliced = decoded[:3] # 切前 3 字
result = sliced.encode('utf-8') # 再編碼回 UTF-8 bytes
print(result) # b'\xe4\xb8\xad\xe6\x96\x87\xe6\x88\xaa'
因此「一個漢字 3 位元組」並非絕對,處理未知文字請務必用 Unicode 切片。
str (Unicode)encode/decode