這是自己以前寫的一個php的采集類,自己一直在用,自我感覺很簡單很強大,只要懂一點點選擇器的知識就可以采集任何頁面了,也支持https頁面,做簡單的采集足夠用了
一、采集類源碼 代碼如下: <?php /** *通用列表采集類 *版本V1.3 *作者:JAE */ require_once '../phpQuery/phpQuery/phpQuery.php'; class QueryList{ private $pageURL; private $regArr = array(); public $jsonArr = array(); private $regRange; private $html; /************************************************ * 參數: 頁面地址 選擇器數組 塊選擇器 * 【選擇器數組】說明:格式array("名稱"=>array("選擇器","類型"),.......) * 【類型】說明:值 "text" ,"html" ,"屬性" *【塊選擇器】:指 先按照規則 選出 幾個大塊 ,然後再分別再在塊裡面 進行相關的選擇 *************************************************/ function QueryList($pageURL,$regArr=array(),$regRange='') { $this->pageURL = $pageURL; //為了能獲取https:// $ch = curl_init(); curl_setopt($ch, CURLOPT_URL,$this->pageURL); curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false); curl_setopt($ch,CURLOPT_RETURNTRANSFER,1); $this->html = curl_exec($ch); curl_close($ch); if(!empty($regArr)) { $this->regArr = $regArr; $this->regRange = $regRange; $this->getList(); } } function setQuery($regArr,$regRange='') { $this->jsonArr=array(); $this->regArr = $regArr; $this->regRange = $regRange; $this->getList(); } private function getList() { $hobj = phpQuery::newDocumentHTML($this->html); if(!empty($this->regRange)) { $robj = pq($hobj)->find($this->regRange); $i=0; foreach($robj as $item) { while(list($key,$reg_value)=each($this->regArr)) { $iobj = pq($item)->find($reg_value[0]); switch($reg_value[1]) { case 'text': $this->jsonArr[$i][$key] = trim(pq($iobj)->text()); break; case 'html': $this->jsonArr[$i][$key] = trim(pq($iobj)->html()); break; default: $this->jsonArr[$i][$key] = pq($iobj)->attr($reg_value[1]); break; } } //重置數組指針 reset($this->regArr); $i++; } } else { while(list($key,$reg_value)=each($this->regArr)) { $lobj = pq($hobj)->find($reg_value[0]); $i=0; foreach($lobj as $item) { switch($reg_value[1]) { case 'text': $this->jsonArr[$i++][$key] = trim(pq($item)->text()); break; case 'html': $this->jsonArr[$i++][$key] = trim(pq($item)->html()); break; default: $this->jsonArr[$i++][$key] =