萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

PHP 將漢字轉為 Unicode 碼點的通用函數 (UTF-8 專用)

需求背景

需將單個漢字轉為 Unicode 碼點 (如「你」→ U+4F60 / 十進制 20320 / 十六進制 4F60)。**前提:PHP 文件編碼為 UTF-8**,輸入字串亦為 UTF-8。不依賴 mbstring/intl 擴充套件,純 PHP 實現。

核心原理:UTF-8 編碼規則與碼點提取

UTF-8 將 Unicode 碼點編碼為 1-4 字節:

  • 1 字節:0xxxxxxx (ASCII, U+0000-U+007F)
  • 2 字節:110xxxxx 10xxxxxx (U+0080-U+07FF)
  • 3 字節:1110xxxx 10xxxxxx 10xxxxxx (U+0800-U+FFFF,**漢字主要在這裡**)
  • 4 字節:11110xxx 10xxxxxx 10xxxxxx 10xxxxxx (U+10000-U+10FFFF,Emoji、生僻字)

漢字 (CJK 統一表意文字) 多在 **基本多文種平面 (BMP, U+4E00-U+9FFF)**,UTF-8 編碼為 **3 字節**。提取碼點:取 3 字節中標記位後的有效位拼接。

通用函數實現 (支援單字符輸入或預分割字節陣列)

<?php
/**
 * 將單個 UTF-8 編碼漢字轉為 Unicode 碼點 (十進制整數)
 * 
 * @param string|array $char 單個 UTF-8 字符字串,或預分割的字節陣列 [0xE4, 0xBD, 0xA0]
 * @return int|false Unicode 碼點 (十進制),失敗返回 false
 * @throws InvalidArgumentException 輸入非單字符或非 UTF-8 有效序列
 */
function charToUnicodeCodepoint(string|array $char): int|false {
    // 1. 統一轉為字節陣列
    $bytes = is_array($char) ? $char : array_values(unpack('C*', $char));
    
    // 2. 驗證輸入長度 (單字符 1-4 字節)
    $len = count($bytes);
    if ($len < 1 || $len > 4) {
        throw new InvalidArgumentException("Input must be a single UTF-8 character (1-4 bytes), got {$len} bytes");
    }
    
    // 3. 根據首字節判斷序列長度並提取碼點
    $first = $bytes[0];
    
    if ($first < 0x80) { // 1 字節: 0xxxxxxx (ASCII)
        return $first;
    }
    
    if ($first >= 0xF0) { // 4 字節: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx (U+10000-U+10FFFF)
        if ($len !== 4) return false;
        if (($bytes[1] & 0xC0) !== 0x80 || ($bytes[2] & 0xC0) !== 0x80 || ($bytes[3] & 0xC0) !== 0x80) return false;
        return (($first & 0x07) << 18) | (($bytes[1] & 0x3F) << 12) | (($bytes[2] & 0x3F) << 6) | ($bytes[3] & 0x3F);
    }
    
    if ($first >= 0xE0) { // 3 字節: 1110xxxx 10xxxxxx 10xxxxxx (U+0800-U+FFFF, 漢字)
        if ($len !== 3) return false;
        if (($bytes[1] & 0xC0) !== 0x80 || ($bytes[2] & 0xC0) !== 0x80) return false;
        return (($first & 0x0F) << 12) | (($bytes[1] & 0x3F) << 6) | ($bytes[2] & 0x3F);
    }
    
    if ($first >= 0xC0) { // 2 字節: 110xxxxx 10xxxxxx (U+0080-U+07FF)
        if ($len !== 2) return false;
        if (($bytes[1] & 0xC0) !== 0x80) return false;
        return (($first & 0x1F) << 6) | ($bytes[1] & 0x3F);
    }
    
    // 非法首字節 (10xxxxxx 或 11111xxx)
    return false;
}

// --- 使用示例 ---
// 輸入 UTF-8 字串 (文件必須保存為 UTF-8 無 BOM)
$hanzi = '你'; // 3 字節: E4 BD A0
$codepoint = charToUnicodeCodepoint($hanzi);
echo "字符: {$hanzi}\n";
echo "十進制碼點: {$codepoint}\n";       // 20320
echo "十六進制碼點: U+" . strtoupper(dechex($codepoint)) . "\n"; // U+4F60
echo "HTML 實體: &#{$codepoint};\n";       // 你

// Emoji 測試 (4 字節)
$emoji = '😀'; // F0 9F 98 80
$cp = charToUnicodeCodepoint($emoji);
echo "Emoji: {$emoji} -> U+" . strtoupper(dechex($cp)) . " ({$cp})\n"; // U+1F600 (128512)

// 批量轉換字串中所有字符
function stringToCodepoints(string $str): array {
    $bytes = array_values(unpack('C*', $str));
    $codepoints = [];
    $i = 0;
    while ($i < count($bytes)) {
        $first = $bytes[$i];
        $seqLen = 1;
        if ($first >= 0xF0) $seqLen = 4;
        elseif ($first >= 0xE0) $seqLen = 3;
        elseif ($first >= 0xC0) $seqLen = 2;
        
        if ($i + $seqLen > count($bytes)) break; // 截斷
        $charBytes = array_slice($bytes, $i, $seqLen);
        $cp = charToUnicodeCodepoint($charBytes);
        if ($cp !== false) $codepoints[] = $cp;
        $i += $seqLen;
    }
    return $codepoints;
}

print_r(stringToCodepoints('你好😀世界')); 
// [20320, 22909, 128512, 19990, 30028]

對比:內建函數 mb_ord() / IntlChar::ord() (PHP 7.2+ / PHP 7.0+)

**生產環境首選內建函數**,經過優化、處理邊界情況完善、效能極高。

// PHP 7.2+ (需 mbstring)
$cp = mb_ord('你', 'UTF-8'); // 20320
$cp = mb_ord('😀', 'UTF-8'); // 128512

// PHP 7.0+ (需 intl)
$cp = IntlChar::ord('你'); // 20320
$cp = IntlChar::ord('😀'); // 128512

// 批量
$codepoints = array_map(fn($c) => mb_ord($c, 'UTF-8'), mb_str_split('你好😀', 1, 'UTF-8'));

反向轉換:碼點 → UTF-8 字符

// PHP 7.0+
echo mb_chr(0x4F60, 'UTF-8'); // 你
echo IntlChar::chr(0x1F600);  // 😀

// 純 PHP 實現 (無擴充套件依賴)
function codepointToUtf8(int $cp): string {
    if ($cp < 0x80) return chr($cp);
    if ($cp < 0x800) return chr(0xC0 | ($cp >> 6)) . chr(0x80 | ($cp & 0x3F));
    if ($cp < 0x10000) return chr(0xE0 | ($cp >> 12)) . chr(0x80 | (($cp >> 6) & 0x3F)) . chr(0x80 | ($cp & 0x3F));
    if ($cp <= 0x10FFFF) return chr(0xF0 | ($cp >> 18)) . chr(0x80 | (($cp >> 12) & 0x3F)) . chr(0x80 | (($cp >> 6) & 0x3F)) . chr(0x80 | ($cp & 0x3F));
    throw new ValueError("Invalid Unicode codepoint: {$cp}");
}

總結

理解 UTF-8 編碼結構是處理多語言文本的基礎。**生產代碼直接使用 mb_ord()/IntlChar::ord() / mb_chr()/IntlChar::chr()**。無擴充套件環境下,上述純 PHP 實現可靠處理 BMP (含漢字) 及補充平面字符 (Emoji)。**關鍵:文件編碼、輸入編碼、資料庫連接編碼、HTML Charset 統一為 UTF-8 (推薦 utf8mb4)**。

copyright © 萬盛學電腦網 all rights reserved