PHP中使用正則表達式提取中文實現筆記

這篇文章主要介紹了PHP中使用正則表達式提取中文實現筆記,本文還講解了韓文、日文的正則表達式,並同時給出實現代碼和使用示例,需要的朋友可以參考下    

最近老板叫做一個數據查重的小練習，涉及從一個包含中文字段的文件中提取出其中的中文字段並存儲，使用php開發。中間涉及到php正則表達式中文匹配的問題，網上搜羅一大片，但是也很亂沒有一個准信兒，經過自己的代碼的修改和檢驗，先將extract函數寫下。

首先要注意到的是，雙字節字符的編碼問題，這裡我們以後還可能會遇到像韓文、日文等編碼問題，與中文理解上是一個意思。

1. GBK (GB2312/GB18030)

代碼如下:
x00-xff GBK雙字節編碼范圍
x20-x7f ASCII
xa1-xff 中文 gb2312
x80-xff 中文 gbk
2. UTF-8 (Unicode)
代碼如下:
u4e00-u9fa5 (中文)
x3130-x318F (韓文
xAC00-xD7A3 (韓文)
u0800-u4e00 (日文)

 

在Notepad++下面，我們可以首先進行測試我們的正則書寫的錯誤與否。第一個表達式我是使用[u4e00-u9fa5]+來檢驗的，+號表示不止一個

匹配符。結果與預期相同，那麼，是否在腳本中就可以使用這個正則了呢？

我們測試一下，我們使用preg_match_all(‘/[u4e00-u9fa5]+/', $subject,$matches)調用，然後你卻看到了這麼一個結果：Compilation failed: PCRE does not support L, l, N{name}, U, or u at offset 2。。。。是不是很頭大？？這究竟是什麼原因？

查閱了很多資料後發現，u (PCRE_UTF8)，就是上面的PCRE，這是是一個Perl庫，包括 perl 兼容的正規表達式庫。此修正符啟用了一個 PCRE 中與 Perl 不兼容的額外功能。模式字符串被當成 UTF-8。本修正符在 Unix 下自 PHP 4.1.0 起可用，在 win32 下自 PHP 4.2.3 起可用。而php正則表達式對於十六進制數據的表達方式上也有所不同，在php中，是用x表示十六進制數據的。下面我們就將代碼優化一下，檢測函數變為：

 

代碼如下: class storeDataAdapter extends Store{
private $dsData;
/**
* 數據轉換函數，調用preg_match_all根據$pattern正則來進行數值匹配，並將返回的結果以數組形式存儲在$matches中，
* $matches[0]將包含與整個模式匹配的文本，$matches[1] 將包含與第一個捕獲的括號中的子模式所匹配的文本，以此類推
* @see Store::data_convert()
*/
public function data_convert($pattern,$subject) {
$matches=array();
if (preg_match_all($pattern, $subject,$matches)){
return $matches[0];
}else
{
return null;
}
}
}

 

調用的時候變為：

 

代碼如下:
$store=new storeDataAdapter($txtContent);
$match=array();
$dsName=$store->data_convert(‘/[x7f-xff]+/',$txtContent);
foreach ($dsName as $val){
echo $val."<br>";
}

 

輸入文件為：

，下面是提取出中文之後的輸出文件內容：

，符合預期需求。