萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

PHP 中 Unicode 与 UTF-8 编码深度解析:转换原理、代码实现与前后端长度校验一致性

核心概念辨析

Unicode ↔ UTF-8 转换映射表

Unicode 范围 (十六进制)    UTF-8 二进制模板
000000 - 00007F             0xxxxxxx                    (1 字节)
000080 - 0007FF             110xxxxx 10xxxxxx           (2 字节)
000800 - 00FFFF             1110xxxx 10xxxxxx 10xxxxxx  (3 字节)
010000 - 10FFFF             11110xxx 10xxxxxx 10xxxxxx 10xxxxxx (4 字节)

转换算法演示(以“漢”字 U+6C49 为例)

UTF-8 → Unicode

UTF-8 字节: E6 B1 89
二进制:     11100110 10110001 10001001
匹配模板:   1110xxxx 10xxxxxx 10xxxxxx
提取有效位:    0110  110001  001001
拼接补齐:   0000 0110 1100 0100 1001  (补齐 16 位)
Unicode:    0x6C49

Unicode → UTF-8

Unicode:    0x6C49 = 0110 1100 0100 1001
范围判断:   0x0800 - 0xFFFF → 3 字节模板
填入模板:   1110 0110  10 110001  10 001001
UTF-8:      E6 B1 89

PHP 实现:手写转换函数(教学用)

<?php
function utf8ToUnicode(string $utf8): array {
    $result = [];
    $len = strlen($utf8);
    for ($i = 0; $i < $len; ) {
        $b1 = ord($utf8[$i]);
        if ($b1 < 0x80) { // 1 字节
            $cp = $b1;
            $i += 1;
        } elseif (($b1 & 0xE0) === 0xC0) { // 2 字节
            $b2 = ord($utf8[$i+1]);
            $cp = (($b1 & 0x1F) << 6) | ($b2 & 0x3F);
            $i += 2;
        } elseif (($b1 & 0xF0) === 0xE0) { // 3 字节
            $b2 = ord($utf8[$i+1]);
            $b3 = ord($utf8[$i+2]);
            $cp = (($b1 & 0x0F) << 12) | (($b2 & 0x3F) << 6) | ($b3 & 0x3F);
            $i += 3;
        } elseif (($b1 & 0xF8) === 0xF0) { // 4 字节
            $b2 = ord($utf8[$i+1]);
            $b3 = ord($utf8[$i+2]);
            $b4 = ord($utf8[$i+3]);
            $cp = (($b1 & 0x07) << 18) | (($b2 & 0x3F) << 12) | (($b3 & 0x3F) << 6) | ($b4 & 0x3F);
            $i += 4;
        } else {
            $cp = 0xFFFD; // 替换字符
            $i += 1;
        }
        $result[] = sprintf('U+%04X', $cp);
    }
    return $result;
}

// 测试
print_r(utf8ToUnicode('漢字')); // ['U+6C49', 'U+5B57']

生产环境:直接用 mbstring / intl 扩展

<?php
// UTF-8 → Unicode 码位数组
$str = '漢字';
$codepoints = [];
for ($i = 0, $len = mb_strlen($str, 'UTF-8'); $i < $len; $i++) {
    $char = mb_substr($str, $i, 1, 'UTF-8');
    $codepoints[] = 'U+' . strtoupper(dechex(mb_ord($char, 'UTF-8')));
}
print_r($codepoints); // ['U+6C49', 'U+5B57']

// Unicode 码位 → UTF-8
$cp = 0x6C49;
echo mb_chr($cp, 'UTF-8'); // 漢

前后端长度校验一致性难题

前端 JS 使用 UTF-16 码元长度(str.length),后端 PHP 统计 UTF-8 字节长度。导致“30 字符”限制在两端结果不一致。

前端 JS:按 UTF-8 字节数计算长度

function utf8ByteLength(str) {
    let len = 0;
    for (let i = 0; i < str.length; i++) {
        const cp = str.charCodeAt(i);
        if (cp < 0x80) len += 1;
        else if (cp < 0x800) len += 2;
        else if (cp <= 0xFFFF) len += 3;
        else len += 4; // 代理对 surrogate pairs
    }
    return len;
}
// 测试
utf8ByteLength('asdasdas');      // 8
utf8ByteLength('燕睿涛');         // 9 (每汉字 3 字节)

后端 PHP:统一按 UTF-8 字节数校验

<?php
function utf8ByteLength(string $str): int {
    return strlen($str); // PHP 字符串本质是字节序列,UTF-8 下 strlen 即字节数
}

// 或显式转换后计算(针对 GBK 等非 UTF-8 输入)
function byteLengthFromGbk(string $gbkStr): int {
    return strlen(iconv('GBK', 'UTF-8', $gbkStr));
}

最佳实践清单

  1. 全栈统一 UTF-8:数据库、连接、HTML meta、PHP 源文件、JS 文件全链路 UTF-8
  2. 长度限制统一按字节:前端用 utf8ByteLength(),后端用 strlen()
  3. 字符计数用 mb_strlen:mb_strlen($str, 'UTF-8') 得到字符数(非字节数)
  4. 数据库字段:VARCHAR(100) 存 UTF-8 限制 100 字节,存 33 个汉字;需存 100 字符用 VARCHAR(300) 或 TEXT
  5. 正则处理:PHP 正则加 /u 修饰符启用 Unicode 模式

常见坑

🔴 strlen('中文') 返回 6(字节数),非 2(字符数)
🔴 JS '😀'.length === 2(代理对),PHP mb_strlen('😀') === 1
🔴 iconv('UTF-8', 'GBK', $str) 遇到 GBK 无法表示的字符会报错或丢失,需 //IGNORE 或 //TRANSLIT

彻底理解 Unicode 码位、UTF-8/16 编码、字节长度与字符长度的区别,是解决全栈编码一致性的基石。

copyright © 萬盛學電腦網 all rights reserved
概念定义字节长度备注
Unicode (UCS-2/UTF-16)字符集标准,为每字符分配唯一码位固定 2 字节 (BMP) 或 4 字节 (补充平面)内存中常用 UTF-16LE/BE
UTF-8Unicode 的变长编码实现1~4 字节ASCII 兼容、网络传输标准
UTF-16定长/变长编码2 或 4 字节Windows API、Java、JS 内部常用