字符編碼是程序員永繞不開的坑。從 ASCII 到 Unicode,再到 UTF-8 統治 Web,本文梳理編碼演進邏輯、核心概念、存儲格式、BOM/Endian 陷阱、編輯器/瀏覽器/數據庫實戰配置,徹底搞懂「為什麼會亂碼」與「如何永不亂碼」。
編碼演進時間軸
- ASCII (1963):7 位、128 字符,僅覆蓋英字母、數字、控制字符
2. EBCDIC / ISO-8859 系列:8 位擴展,兼容 ASCII,不同語言定義不兼容的 128-255 區
3. ANSI / 代碼頁:Windows 系統區域性編碼(簡中 GBK/CP936、繁中 Big5/CP950、日文 Shift_JIS、韓文 EUC-KR)
4. Unicode (1991~):**統一碼表**,為全球所有字符分配唯一碼位(Code Point, U+0000 ~ U+10FFFF)
5. UTF-8 / UTF-16 / UTF-32:Unicode 的**實現編碼**(將碼位轉為字節序列),UTF-8 以變長、ASCII 兼容、無字節序問題成為 Web 標準
核心概念辨析
| 概念 | 含義 | 例子 |
| 字符集 | 抽象字符集合 | Unicode 字符集、GB2312 字符集 |
| 編碼 | 字符 → 字節序列的規則 | UTF-8、UTF-16LE、GBK |
| 碼位 | 字符在字符集中的編號 | U+4E25 (漢字「嚴」) |
| 代碼單元 | 編碼的最小單位 | UTF-8: 1 字節;UTF-16: 2 字節 |
| BOM | Byte Order Mark,文件頭標識字節序 | UTF-8: EF BB BF;UTF-16LE: FF FE |
| Endian | 多字節存儲順序 | Big Endian: 高位在前;Little Endian: 低位在前 |
UTF-8 編碼規則(變長 1-4 字節)
| 碼位範圍 | 字節數 | 二進制模板 | 例子:嚴 U+4E25 |
| U+0000 ~ U+007F | 1 | 0xxxxxxx | ASCII 兼容 |
| U+0080 ~ U+07FF | 2 | 110xxxxx 10xxxxxx | — |
| U+0800 ~ U+FFFF | 3 | 1110xxxx 10xxxxxx 10xxxxxx | E4 B8 A5 |
| U+10000 ~ U+10FFFF | 4 | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx | Emoji 😀 F0 9F 98 80 |
**關鍵特性**:ASCII 字符單字節、無字節序問題、自同步(可從任意位置向前掃描找到字符邊界)。
Windows 記事本「另存為」四大編碼真身
| 選項 | 實際編碼 | BOM | 適用場景 |
| ANSI | 系統區域編碼 (簡中=GBK) | 無 | 老系統、特定舊瀏覽器兼容 |
| Unicode | UTF-16LE | FF FE | Windows 內部 API、舊版 VC++ |
| Unicode big endian | UTF-16BE | FE FF | 網絡傳輸、Java 預設、PowerPC |
| UTF-8 | UTF-8 | EF BB BF (可選) | **Web 標準、跨平台、Git、現代開發** |
Little/Big Endian 由來與檢測
- 源自《格列佛遊記》「從雞蛋大頭/小頭敲開」引發戰爭
- **Big Endian**:高位字節存低地址(網絡序/人類閱讀序)
- **Little Endian**:低位字節存低地址(x86/ARM CPU 原生序)
- **BOM 檢測**:文件前 2 字節 `FE FF`=BE、`FF FE`=LE;UTF-8 BOM `EF BB BF` 僅標識 UTF-8,無序問題
實戰:編碼鏈路閉環檢查表
✅ 1. 源碼文件保存為 UTF-8 無 BOM (VS Code 右下角 / Notepad++ 編碼菜單)
✅ 2. HTML: 在 首行
✅ 3. HTTP 響應頭: Content-Type: text/html; charset=UTF-8
✅ 4. CSS/JS 文件: @charset "UTF-8"; 或 HTTP 頭 charset=UTF-8
✅ 5. 數據庫: CHARSET=utf8mb4 (MySQL) / UTF8 (PostgreSQL)
✅ 6. 數據庫連接: SET NAMES utf8mb4 / connection charset=utf8mb4
✅ 7. 後端框架: Spring Boot spring.http.encoding.force=true / Node express.json({charset:'utf-8'})
✅ 8. 表單提交:
常見亂碼場景速診
| 現象 | 典型原因 | 修復 |
| (菱形問號) | UTF-8 字節流被當作單字節編碼讀取 | 補全 UTF-8 聲明、檢查數據庫連接字符集 |
| 鏤鏤 (GBK 雙字節誤讀) | UTF-8 中文被 GBK 解碼 | 統一 UTF-8、修正 Tomcat URIEncoding |
| ???? | 字符集不支持該字符(如 latin1 存中文) | 數據庫表/列改 utf8mb4 |
| 锟斤拷 | 多次錯誤轉碼疊加 | 追溯源頭、單向轉碼、避免雙重 encode |
現代最佳實踐
- **全鏈路 UTF-8**:源碼、HTML、HTTP、數據庫、連接、模板、日誌、配置文件
2. **MySQL 必用 `utf8mb4`**:`utf8` 偽 UTF-8 只支持 3 字節,無法存 Emoji/生僻字
3. **拒絕 BOM**:UTF-8 無需 BOM,反而導致 PHP `header()` 失效、Shell 腳本報錯、模板引擎輸出異常
4. **前端構建工具**:Vite/Webpack 默認 UTF-8 輸出,無需額外配置
5. **API 契約**:OpenAPI/Swagger 明確 `charset=utf-8`,前後端聯調自動驗證
結語
字符編碼問題的本質是**發送端與接收端約定不一致**。建立「全鏈路 UTF-8、無 BOM、數據庫 utf8mb4」標準化基礎設施,配合 CI 檢查文件編碼、自動化測試驗證中文輸入輸出,即可從根源消滅亂碼,讓團隊專注業務創新。