萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> 程式語言綜合

Python UTF-8 中文字串截取:避免亂碼的正確姿勢

問題根源

UTF-8 中文佔 3 位元組(部分擴展字 4 位元組)。直接對 bytes 或 str (Py2) 切片,極易切斷字元導致亂碼。

正確做法:解碼 → 切片 → 編碼

# -*- coding: utf-8 -*-
s = u'中文截取'          # Unicode 字串 (Py2 用 u 前綴,Py3 預設即 Unicode)
result = s[:3]            # 直接切片安全
print(result)             # 中文截

關鍵: 在 Unicode 字串 (Python 3 str、Python 2 unicode) 上切片,按「字元」而非「位元組」計算,完全安全。

若輸入為 UTF-8 位元組串

raw = '中文截取'.encode('utf-8')  # b'\xe4\xb8\xad\xe6\x96\x87\xe6\x88\xaa\xe5\x8f\x96'
# 錯誤示範
print(raw[:6])  # 只取前 6 bytes -> 截斷第 3 字

# 正確示範
decoded = raw.decode('utf-8')     # 還原為 Unicode
sliced = decoded[:3]              # 切前 3 字
result = sliced.encode('utf-8')   # 再編碼回 UTF-8 bytes
print(result)                     # b'\xe4\xb8\xad\xe6\x96\x87\xe6\x88\xaa'

UTF-8 中文字元位元組長度補充

  • 基本中日韓統一表意文字 (BMP):3 位元組 (如 中、文、截、取)
  • 擴展區字元 (如 𠮷、😀):4 位元組
  • ASCII 英數字:1 位元組

因此「一個漢字 3 位元組」並非絕對,處理未知文字請務必用 Unicode 切片。

Python 3 時代的最佳實務

  • 內部統一使用 str (Unicode)
  • 邊界 I/O 時才 encode/decode
  • 切片、長度、遍歷皆按字元運作,零亂碼風險
copyright © 萬盛學電腦網 all rights reserved