萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

PHP 采集中国代理服务器网(cnproxy.com)完整教程与代码实例

前言

在网络爬虫、数据采集或隐私保护场景中,代理 IP 是常见需求。中国代理服务器网(cnproxy.com)提供免费代理列表,本文详细讲解如何使用 PHP 编写采集脚本,自动抓取其最新代理 IP 并保存到本地文件。

核心思路

  • 目标站点分页结构:https://www.cnproxy.com/proxy{页码}.html
  • 页面中代理 IP 与端口通过 JavaScript 混淆显示,需解析脚本还原真实端口
  • 使用正则提取 IP 与混淆端口字符串,再通过字符映射表还原端口数字
  • 采集结果追加写入文本文件,支持断点续采

完整 PHP 采集类代码

<?php
/**
 * 采集中国代理服务器网最新列表
 */
class ProxyCollector {
    public $listUrl = '';
    public $savePath = 'proxy.txt';

    /** 生成分页 URL */
    public function getListUrl($page) {
        $this->listUrl = str_replace('(*)', $page, 'https://www.cnproxy.com/proxy(*).html');
        return $this->listUrl;
    }

    /** 采集单页代理内容 */
    public function fetchPage($page) {
        $this->getListUrl($page);
        $html = file_get_contents($this->listUrl);
        if (!$html) return false;

        // 正则匹配 IP 和混淆端口脚本
        $pattern = '/<tr><td>([0-9.]+)<SCRIPT type=text\/javascript>document\.write\(":"([+a-z]+)\)<\/SCRIPT><\/td><td>\w+<\/td><td>[\w,]+<\/td>/is';
        preg_match_all($pattern, $html, $matches);
        if (empty($matches[1])) return false;

        // 端口混淆映射表
        $charMap = ['z','m','k','l','d','x','i','w','q','b'];
        $numMap  = [3,4,2,9,0,5,7,6,8,1];

        $result = '';
        foreach ($matches[2] as $idx => $obfuscated) {
            $clean = str_replace('+', '', $obfuscated);
            $port = str_replace($charMap, $numMap, $clean);
            $result .= $matches[1][$idx] . ':' . $port . "\r\n";
        }

        $this->save($result);
        return true;
    }

    /** 追加保存到文件 */
    public function save($data) {
        return file_put_contents($this->savePath, $data, FILE_APPEND);
    }

    /** 读取已采集数据 */
    public function read() {
        return file_get_contents($this->savePath);
    }
}

// 使用示例:采集第 1-10 页
$collector = new ProxyCollector();
$start = 1;
$end = 10;

if (isset($_GET['a']) && $_GET['a'] === 'start') {
    echo '正在发送采集请求...';
    echo '<meta http-equiv="Refresh" content="3;URL=?p=1">';
} elseif (isset($_GET['p'])) {
    $page = intval($_GET['p']);
    if ($page > $end) {
        exit('<meta http-equiv="Refresh" content="0;URL=?a=end">');
    }
    echo "正在请求列表 {$page} > {$end}";
    if ($collector->fetchPage($page)) {
        $next = $page + 1;
        echo "<meta http-equiv=\"Refresh\" content=\"3;URL=?p={$next}\">";
    }
} elseif (isset($_GET['a']) && $_GET['a'] === 'end') {
    echo '采集完毕!';
} else {
    echo '<form><input type="hidden" name="a" value="start" /><input type="submit" value="开始采集" /></form>';
}
?>

关键点解析

1. 端口解混淆原理

页面中端口由 JavaScript 动态写入,如 document.write(":+" + "zmk"),实际对应数字映射:

混淆字符zmkldxiwqb
真实数字3429057681

脚本通过 str_replace 完成还原。

2. 断点续采机制

利用 URL 参数 p 控制页码,配合 meta refresh 实现分批次自动翻页,避免单次执行超时。

3. 注意事项

  • 目标站点结构若变更,需更新正则表达式
  • 高频请求可能触发反爬,建议增加 sleep() 或使用代理池
  • 采集仅供学习研究,请遵守目标站点 robots.txt 与相关法律法规

进阶优化建议

  • 引入 cURL 替代 file_get_contents,支持超时、重试、Header 伪装
  • 采集后自动验证代理可用性(如访问 https://httpbin.org/ip)
  • 存储改用 SQLite / Redis,便于去重与高并发读取
  • 封装为命令行脚本(CLI 模式),配合 Crontab 定时任务

完整代码已在 PHP 7.4+ 环境测试通过,可直接部署使用。希望本教程能助你快速构建代理 IP 资源库。

copyright © 萬盛學電腦網 all rights reserved