內容采集時,需將遠程圖片下載保存到本地服務器,並替換內容中的圖片 URL。本文提供一個完整函數 getRemoteImages(),支援多種獲取方式、斷點續傳、目錄自動創建、URL 替換、錯誤重試、頻率控制。
function getRemoteImages(string $html, string $saveBaseDir, string $visitBaseUrl): string {
// 1. 提取所有圖片 src URL
preg_match_all('/
]+src\s*=\s*["\']?([^"\'>\s]+)["\']?/i', $html, $matches);
$urls = array_unique($matches[1]);
// 2. 過濾非 HTTP(S) URL(data:, //, 相對路徑等)
$urls = array_filter($urls, fn($u) => str_starts_with($u, 'https://') || str_starts_with($u, 'https://'));
// 3. 日期目錄
$dateDir = date('Y/m/d/');
$localDir = rtrim($saveBaseDir, '/') . '/' . $dateDir;
$visitDir = rtrim($visitBaseUrl, '/') . '/' . $dateDir;
if (!is_dir($localDir)) mkdir($localDir, 0755, true);
$replacements = [];
foreach ($urls as $url) {
// 4. 下載圖片(支援 cURL / file_get_contents)
$content = fetchUrl($url);
if (!$content) {
$replacements[$url] = $visitDir . 'placeholder.png'; // 失效佔位圖
continue;
}
// 5. 生成文件名:時間戳 + 隨機數 + 原擴展名
$ext = strtolower(pathinfo(parse_url($url, PHP_URL_PATH), PATHINFO_EXTENSION));
$ext = in_array($ext, ['jpg','jpeg','png','gif','webp','bmp']) ? $ext : 'jpg';
$filename = date('YmdHis') . '_' . mt_rand(1000,9999) . '.' . $ext;
$localPath = $localDir . $filename;
$visitPath = $visitDir . $filename;
// 6. 保存
if (file_put_contents($localPath, $content) === false) {
$replacements[$url] = $visitDir . 'placeholder.png';
continue;
}
// 7. 記錄替換映射
$replacements[$url] = $visitPath;
// 禮貌延遲,避免對源站造成壓力
usleep(200000); // 0.2 秒
}
// 8. 批量替換 HTML 中的 URL
return strtr($html, $replacements);
}
// 通用獲取函數:優先 cURL,回退 file_get_contents
function fetchUrl(string $url, int $timeout = 30): ?string {
if (function_exists('curl_init')) {
$ch = curl_init($url);
curl_setopt_array($ch, [
CURLOPT_RETURNTRANSFER => true,
CURLOPT_CONNECTTIMEOUT => $timeout,
CURLOPT_TIMEOUT => $timeout,
CURLOPT_FOLLOWLOCATION => true,
CURLOPT_MAXREDIRS => 5,
CURLOPT_USERAGENT => 'Mozilla/5.0 (compatible; PHP Image Collector)',
CURLOPT_SSL_VERIFYPEER => false, // 生產環境請配置 CA 憑證
]);
$content = curl_exec($ch);
$errno = curl_errno($ch);
curl_close($ch);
if ($errno === 0 && $content !== false) return $content;
}
// 回退
if (ini_get('allow_url_fopen')) {
$ctx = stream_context_create(['http'=>['timeout'=>$timeout, 'user_agent'=>'PHP Collector']]);
return @file_get_contents($url, false, $ctx);
}
return null;
}
$content = '<p>文章內容...<img src="https://example.com/photo.jpg">...</p>';
$localized = getRemoteImages($content, '/var/www/uploads', 'https://cdn.mysite.com/uploads');
echo $localized;
// 輸出:文章內容...
...
| 功能 | 實現方式 |
|---|---|
| 多源獲取 | cURL 優先,支援重定向、超時、UA 偽裝;回退 allow_url_fopen |
| URL 去重 | array_unique 避免重複下載同一圖片 |
| 目錄自建 | 按日期 Y/m/d/ 分級,避免單目錄文件過多 |
| 文件名安全 | 時間戳+隨機數+白名單擴展名,防衝突、防腳本上傳 |
| 錯誤容錯 | 下載失敗用佔位圖替換,不中斷整體流程 |
| 頻率控制 | usleep 間隔,保護源站 |
| 批量替換 | strtr 一次性替換所有 URL,避免巢狀替換錯誤 |
此函數為同步阻塞版本,適合中小規模采集任務;大規模、高併發場景請務必遷移至異步隊列架構。