萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

PHP 采集遠程圖片並本地化存儲

內容采集時,需將遠程圖片下載保存到本地服務器,並替換內容中的圖片 URL。本文提供一個完整函數 getRemoteImages(),支援多種獲取方式、斷點續傳、目錄自動創建、URL 替換、錯誤重試、頻率控制。

核心函數

function getRemoteImages(string $html, string $saveBaseDir, string $visitBaseUrl): string {
    // 1. 提取所有圖片 src URL
    preg_match_all('/]+src\s*=\s*["\']?([^"\'>\s]+)["\']?/i', $html, $matches);
    $urls = array_unique($matches[1]);

    // 2. 過濾非 HTTP(S) URL(data:, //, 相對路徑等)
    $urls = array_filter($urls, fn($u) => str_starts_with($u, 'https://') || str_starts_with($u, 'https://'));

    // 3. 日期目錄
    $dateDir = date('Y/m/d/');
    $localDir = rtrim($saveBaseDir, '/') . '/' . $dateDir;
    $visitDir = rtrim($visitBaseUrl, '/') . '/' . $dateDir;
    if (!is_dir($localDir)) mkdir($localDir, 0755, true);

    $replacements = [];

    foreach ($urls as $url) {
        // 4. 下載圖片(支援 cURL / file_get_contents)
        $content = fetchUrl($url);
        if (!$content) {
            $replacements[$url] = $visitDir . 'placeholder.png'; // 失效佔位圖
            continue;
        }

        // 5. 生成文件名:時間戳 + 隨機數 + 原擴展名
        $ext = strtolower(pathinfo(parse_url($url, PHP_URL_PATH), PATHINFO_EXTENSION));
        $ext = in_array($ext, ['jpg','jpeg','png','gif','webp','bmp']) ? $ext : 'jpg';
        $filename = date('YmdHis') . '_' . mt_rand(1000,9999) . '.' . $ext;
        $localPath = $localDir . $filename;
        $visitPath = $visitDir . $filename;

        // 6. 保存
        if (file_put_contents($localPath, $content) === false) {
            $replacements[$url] = $visitDir . 'placeholder.png';
            continue;
        }

        // 7. 記錄替換映射
        $replacements[$url] = $visitPath;

        // 禮貌延遲,避免對源站造成壓力
        usleep(200000); // 0.2 秒
    }

    // 8. 批量替換 HTML 中的 URL
    return strtr($html, $replacements);
}

// 通用獲取函數:優先 cURL,回退 file_get_contents
function fetchUrl(string $url, int $timeout = 30): ?string {
    if (function_exists('curl_init')) {
        $ch = curl_init($url);
        curl_setopt_array($ch, [
            CURLOPT_RETURNTRANSFER => true,
            CURLOPT_CONNECTTIMEOUT => $timeout,
            CURLOPT_TIMEOUT => $timeout,
            CURLOPT_FOLLOWLOCATION => true,
            CURLOPT_MAXREDIRS => 5,
            CURLOPT_USERAGENT => 'Mozilla/5.0 (compatible; PHP Image Collector)',
            CURLOPT_SSL_VERIFYPEER => false, // 生產環境請配置 CA 憑證
        ]);
        $content = curl_exec($ch);
        $errno = curl_errno($ch);
        curl_close($ch);
        if ($errno === 0 && $content !== false) return $content;
    }
    // 回退
    if (ini_get('allow_url_fopen')) {
        $ctx = stream_context_create(['http'=>['timeout'=>$timeout, 'user_agent'=>'PHP Collector']]);
        return @file_get_contents($url, false, $ctx);
    }
    return null;
}

使用示例

$content = '<p>文章內容...<img src="https://example.com/photo.jpg">...</p>';
$localized = getRemoteImages($content, '/var/www/uploads', 'https://cdn.mysite.com/uploads');
echo $localized;
// 輸出:

文章內容......

關鍵功能點

功能實現方式
多源獲取cURL 優先,支援重定向、超時、UA 偽裝;回退 allow_url_fopen
URL 去重array_unique 避免重複下載同一圖片
目錄自建按日期 Y/m/d/ 分級,避免單目錄文件過多
文件名安全時間戳+隨機數+白名單擴展名,防衝突、防腳本上傳
錯誤容錯下載失敗用佔位圖替換,不中斷整體流程
頻率控制usleep 間隔,保護源站
批量替換strtr 一次性替換所有 URL,避免巢狀替換錯誤

生產環境增強建議

  1. 異步隊列:采集任務推送至 RabbitMQ/Redis Queue,Worker 進程後台處理,API 秒級響應。
  2. 圖片去重:計算內容 MD5/SHA256,已存在則復用,節省存儲。
  3. 圖片優化:下載後自動壓縮(TinyPNG API / 本地 imagick)、生成 WebP、多尺寸縮略圖。
  4. CDN 同步:保存後自動推送至 CDN(七牛/又拍/阿里云 OSS),返回 CDN URL。
  5. 版權合規:檢查 robots.txt、Referer 防盜鏈、版權聲明,建立白名單機制。
  6. 監控告警:下載失敗率、耗時、存儲增長指標接入 Prometheus/Grafana。

此函數為同步阻塞版本,適合中小規模采集任務;大規模、高併發場景請務必遷移至異步隊列架構。

copyright © 萬盛學電腦網 all rights reserved