| 概念 | 定义 | 字节长度 | 备注 |
| Unicode (UCS-2/UTF-16) | 字符集标准,为每字符分配唯一码位 | 固定 2 字节 (BMP) 或 4 字节 (补充平面) | 内存中常用 UTF-16LE/BE |
| UTF-8 | Unicode 的变长编码实现 | 1~4 字节 | ASCII 兼容、网络传输标准 |
| UTF-16 | 定长/变长编码 | 2 或 4 字节 | Windows API、Java、JS 内部常用 |
Unicode ↔ UTF-8 转换映射表
Unicode 范围 (十六进制) UTF-8 二进制模板
000000 - 00007F 0xxxxxxx (1 字节)
000080 - 0007FF 110xxxxx 10xxxxxx (2 字节)
000800 - 00FFFF 1110xxxx 10xxxxxx 10xxxxxx (3 字节)
010000 - 10FFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx (4 字节)
转换算法演示(以“漢”字 U+6C49 为例)
UTF-8 → Unicode
UTF-8 字节: E6 B1 89
二进制: 11100110 10110001 10001001
匹配模板: 1110xxxx 10xxxxxx 10xxxxxx
提取有效位: 0110 110001 001001
拼接补齐: 0000 0110 1100 0100 1001 (补齐 16 位)
Unicode: 0x6C49
Unicode → UTF-8
Unicode: 0x6C49 = 0110 1100 0100 1001
范围判断: 0x0800 - 0xFFFF → 3 字节模板
填入模板: 1110 0110 10 110001 10 001001
UTF-8: E6 B1 89
PHP 实现:手写转换函数(教学用)
<?php
function utf8ToUnicode(string $utf8): array {
$result = [];
$len = strlen($utf8);
for ($i = 0; $i < $len; ) {
$b1 = ord($utf8[$i]);
if ($b1 < 0x80) { // 1 字节
$cp = $b1;
$i += 1;
} elseif (($b1 & 0xE0) === 0xC0) { // 2 字节
$b2 = ord($utf8[$i+1]);
$cp = (($b1 & 0x1F) << 6) | ($b2 & 0x3F);
$i += 2;
} elseif (($b1 & 0xF0) === 0xE0) { // 3 字节
$b2 = ord($utf8[$i+1]);
$b3 = ord($utf8[$i+2]);
$cp = (($b1 & 0x0F) << 12) | (($b2 & 0x3F) << 6) | ($b3 & 0x3F);
$i += 3;
} elseif (($b1 & 0xF8) === 0xF0) { // 4 字节
$b2 = ord($utf8[$i+1]);
$b3 = ord($utf8[$i+2]);
$b4 = ord($utf8[$i+3]);
$cp = (($b1 & 0x07) << 18) | (($b2 & 0x3F) << 12) | (($b3 & 0x3F) << 6) | ($b4 & 0x3F);
$i += 4;
} else {
$cp = 0xFFFD; // 替换字符
$i += 1;
}
$result[] = sprintf('U+%04X', $cp);
}
return $result;
}
// 测试
print_r(utf8ToUnicode('漢字')); // ['U+6C49', 'U+5B57']
生产环境:直接用 mbstring / intl 扩展
<?php
// UTF-8 → Unicode 码位数组
$str = '漢字';
$codepoints = [];
for ($i = 0, $len = mb_strlen($str, 'UTF-8'); $i < $len; $i++) {
$char = mb_substr($str, $i, 1, 'UTF-8');
$codepoints[] = 'U+' . strtoupper(dechex(mb_ord($char, 'UTF-8')));
}
print_r($codepoints); // ['U+6C49', 'U+5B57']
// Unicode 码位 → UTF-8
$cp = 0x6C49;
echo mb_chr($cp, 'UTF-8'); // 漢
前后端长度校验一致性难题
前端 JS 使用 UTF-16 码元长度(str.length),后端 PHP 统计 UTF-8 字节长度。导致“30 字符”限制在两端结果不一致。
前端 JS:按 UTF-8 字节数计算长度
function utf8ByteLength(str) {
let len = 0;
for (let i = 0; i < str.length; i++) {
const cp = str.charCodeAt(i);
if (cp < 0x80) len += 1;
else if (cp < 0x800) len += 2;
else if (cp <= 0xFFFF) len += 3;
else len += 4; // 代理对 surrogate pairs
}
return len;
}
// 测试
utf8ByteLength('asdasdas'); // 8
utf8ByteLength('燕睿涛'); // 9 (每汉字 3 字节)
后端 PHP:统一按 UTF-8 字节数校验
<?php
function utf8ByteLength(string $str): int {
return strlen($str); // PHP 字符串本质是字节序列,UTF-8 下 strlen 即字节数
}
// 或显式转换后计算(针对 GBK 等非 UTF-8 输入)
function byteLengthFromGbk(string $gbkStr): int {
return strlen(iconv('GBK', 'UTF-8', $gbkStr));
}
最佳实践清单
- 全栈统一 UTF-8:数据库、连接、HTML meta、PHP 源文件、JS 文件全链路 UTF-8
- 长度限制统一按字节:前端用
utf8ByteLength(),后端用 strlen()
- 字符计数用 mb_strlen:
mb_strlen($str, 'UTF-8') 得到字符数(非字节数)
- 数据库字段:
VARCHAR(100) 存 UTF-8 限制 100 字节,存 33 个汉字;需存 100 字符用 VARCHAR(300) 或 TEXT
- 正则处理:PHP 正则加
/u 修饰符启用 Unicode 模式
常见坑
🔴 strlen('中文') 返回 6(字节数),非 2(字符数)
🔴 JS '😀'.length === 2(代理对),PHP mb_strlen('😀') === 1
🔴 iconv('UTF-8', 'GBK', $str) 遇到 GBK 无法表示的字符会报错或丢失,需 //IGNORE 或 //TRANSLIT
彻底理解 Unicode 码位、UTF-8/16 编码、字节长度与字符长度的区别,是解决全栈编码一致性的基石。
copyright ©
萬盛學電腦網 all rights reserved