萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

PHP 移除程式碼註解與空白字元:token_get_all() 詞法分析實作

PHP 5.3+ 內建 php_strip_whitespace() 可移除註解與空白,但理解其底層原理有助於建構程式碼分析工具。本文實作自訂 strip_whitespace() 函數,使用 token_get_all() 進行詞法分析,精確過濾註解(單行、多行、DocBlock)、保留必要空白、處理 Heredoc/Nowdoc 結構。

完整實作程式碼

<?php
/**
 * 移除 PHP 程式碼中的註解與多餘空白
 * @param string $content PHP 原始碼
 * @return string 處理後程式碼
 */
function strip_whitespace($content) {
    $stripStr = '';
    $tokens   = token_get_all($content);
    $lastSpace = false;

    for ($i = 0, $j = count($tokens); $i < $j; $i++) {
        if (is_string($tokens[$i])) {
            // 單字元符號:; { } ( ) , 等
            $lastSpace = false;
            $stripStr .= $tokens[$i];
        } else {
            // 陣列格式:array(token_id, token_content, line_number)
            list($id, $text) = $tokens[$i];
            switch ($id) {
                case T_COMMENT:       // // 或 # 註解
                case T_DOC_COMMENT:   // /** */ 文件註解
                    // 直接略過,不輸出
                    break;

                case T_WHITESPACE:    // 空白、換行、Tab
                    if (!$lastSpace) {
                        $stripStr .= ' ';  // 壓縮連續空白為單一空格
                        $lastSpace = true;
                    }
                    break;

                case T_START_HEREDOC: // <<

測試範例

<?php
$code = '<?php
    // 單行註解
    /* 多行
       註解 */
    /** DocBlock 註解 */
    $a = 1 + 2;  // 行尾註解
    $str = "保留  字串  內空白";
    echo $a;
?>';

echo strip_whitespace($code);
// 輸出:
?>

Token 類型關鍵常數

常數代表範例
T_COMMENT單行/多行註解// comment, /* comment */
T_DOC_COMMENTPHPDoc 註解/** doc */
T_WHITESPACE空白字元 , \n, \t
T_START_HEREDOCHeredoc 開始<<<EOF
T_END_HEREDOCHeredoc 結束EOF;
T_INLINE_HTMLPHP 標籤外 HTML<div>...</div>
T_OPEN_TAG<?php
T_CLOSE_TAG?>

應用場景延伸

  • 程式碼壓縮/混淆:移除註解空白減小體積
  • 靜態分析工具:提取純程式碼結構進行 AST 分析
  • 模板引擎預編譯:編譯階段清理模板中的 PHP 註解
  • 教學示範:展示 PHP 詞法分析器運作原理

注意事項

  1. 字串字面值內的註解標記(如 "// not comment")不會被誤刪,因 tokenizer 會正確識別字串 token
  2. Heredoc/Nowdoc 內容視為字串,內部空白會保留
  3. 此實作為教學用途,生產環境建議直接使用 php_strip_whitespace() 或成熟庫(如 PHP-Parser)
  4. PHP 8+ 新增 T_ATTRIBUTE 等 token,擴充時需補充 case 分支

透過 token_get_all() 詞法分析,我們能精確控制程式碼轉換過程,這是建構 PHP 開發工具(格式化器、靜態分析器、重構工具)的核心基礎。

copyright © 萬盛學電腦網 all rights reserved