萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

PHP 下載 Google 相簿 (Picasa) 相片到本地:完整爬蟲實戰與現代替代方案

重要提示:Google Picasa Web Albums 已於 2016 年停止服務,併入 Google 相簿。本文原始代碼僅供歷史參考與技術學習。**現代方案請使用 Google Photos Library API (需 OAuth 2.0 授權)。**

歷史代碼分析 (教學用)

原始代碼透過 fsockopen 手工構造 HTTP/1.1 請求,解析非標準 JSON/HTML 混合回應,提取相簿列表與相片 URL,再下載圖片至本地目錄結構 ./用戶名/相簿名/圖片名.副檔名。

核心技術點回顧

  • 原生 Socket 程式設計:fsockopen、fwrite、fgets 手工處理 HTTP 協議
  • User-Agent 偽裝:偽裝為 Baiduspider 繞過簡單反爬
  • 302 重導向處理:圖片 URL 通常經過多次 302 跳轉,openimg() 迴圈跟隨
  • 正則解析非標準格式:preg_match_all 解析 JS 變量嵌入的 JSON 片段
  • 目錄自動建立:mkdir 遞迴建立儲存路徑
  • Meta Refresh 自動翻頁:<meta http-equiv="refresh"> 實現無人值守批次下載

現代替代方案:Google Photos Library API (PHP)

1. 前置準備

  1. Google Cloud Console 建立專案,啟用 Photos Library API
  2. 建立 OAuth 2.0 憑證 (OAuth 用戶端 ID),設定授權重導向 URI
  3. 設定 OAuth 同意畫面,範圍:https://www.googleapis.com/auth/photoslibrary.readonly
  4. 安裝 Google Client Library:composer require google/apiclient

2. 完整實作範例

<?php
require 'vendor/autoload.php';

use Google\Client;
use Google\Service\PhotosLibrary;

$client = new Client();
$client->setApplicationName('Google Photos Downloader');
$client->setScopes([PhotosLibrary::PHOTOSLIBRARY_READONLY]);
$client->setAuthConfig('credentials.json'); // OAuth 憑證檔
$client->setAccessType('offline');
$client->setPrompt('select_account consent');

// Token 儲存 (生產用資料庫/Redis)
$tokenPath = 'token.json';
if (file_exists($tokenPath)) {
    $accessToken = json_decode(file_get_contents($tokenPath), true);
    $client->setAccessToken($accessToken);
}

// 刷新 Token
if ($client->isAccessTokenExpired()) {
    if ($client->getRefreshToken()) {
        $client->fetchAccessTokenWithRefreshToken($client->getRefreshToken());
    } else {
        // 首次授權
        $authUrl = $client->createAuthUrl();
        printf("Open this URL in browser and authorize:\n%s\n", $authUrl);
        print 'Enter authorization code: ';
        $authCode = trim(fgets(STDIN));
        $accessToken = $client->fetchAccessTokenWithAuthCode($authCode);
        $client->setAccessToken($accessToken);
    }
    file_put_contents($tokenPath, json_encode($client->getAccessToken()));
}

$service = new PhotosLibrary($client);

// 列出相簿
$albums = $service->albums->listAlbums(['pageSize' => 50]);
foreach ($albums->getAlbums() as $album) {
    echo "Album: {$album->getTitle()} (ID: {$album->getId()}, Media: {$album->getMediaItemsCount()})\n";
    
    // 下載相簿內所有媒體
    $mediaItems = $service->mediaItems->search([
        'albumId' => $album->getId(),
        'pageSize' => 100,
    ]);
    
    $albumDir = sys_get_temp_dir() . "/google_photos/{$album->getTitle()}";
    if (!is_dir($albumDir)) mkdir($albumDir, 0755, true);
    
    foreach ($mediaItems->getMediaItems() as $item) {
        $baseUrl = $item->getBaseUrl() . '=d'; // '=d' 參數獲取原始檔案下載
        $filename = $item->getFilename() ?: $item->getId() . '.jpg';
        $filepath = $albumDir . '/' . $filename;
        
        if (file_exists($filepath)) {
            echo "  Skip existing: $filename\n";
            continue;
        }
        
        echo "  Downloading: $filename ... ";
        $imageData = file_get_contents($baseUrl); // 簡單下載,大檔案建議用 cURL 串流
        if ($imageData !== false) {
            file_put_contents($filepath, $imageData);
            echo "OK\n";
        } else {
            echo "FAILED\n";
        }
        
        // 禮貌延遲
        usleep(200_000); // 0.2 秒
    }
}

3. 大檔案/串流下載優化 (cURL)


function downloadLargeFile(string $url, string $filepath, int $timeout = 300): bool {
    $fp = fopen($filepath, 'wb');
    if (!$fp) return false;
    
    $ch = curl_init($url);
    curl_setopt_array($ch, [
        CURLOPT_FILE => $fp,
        CURLOPT_FOLLOWLOCATION => true,
        CURLOPT_MAXREDIRS => 5,
        CURLOPT_TIMEOUT => $timeout,
        CURLOPT_CONNECTTIMEOUT => 30,
        CURLOPT_USERAGENT => 'Mozilla/5.0 (compatible; GooglePhotosDownloader/1.0)',
        CURLOPT_HTTPHEADER => ['Authorization: Bearer ' . $client->getAccessToken()['access_token']],
    ]);
    
    $result = curl_exec($ch);
    $httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
    curl_close($ch);
    fclose($fp);
    
    if ($result === false || $httpCode !== 200) {
        unlink($filepath);
        return false;
    }
    return true;
}

架構對比:舊式爬蟲 vs 官方 API

維度舊式爬蟲 (fsockopen + 正則)Google Photos API
穩定性極低 (頁面結構變動即失效)極高 (版本化 API、SLA 保障)
合法性灰色地帶 (可能違反 ToS)完全合法 (官方授權)
資料完整性僅公開可見資料,易遺漏完整中繼資料 (EXIF、地理、相簿關聯)
效能慢 (HTML 解析、多次請求)快 (RESTful、批次、壓縮)
維護成本高 (持續修選器)低 (SDK 自動更新)
授權模式Cookie/Session 竊取風險OAuth 2.0 標準、可撤銷、範圍限制

其他相簿服務 API 整合建議

結語

網頁爬蟲技術 (fsockopen、正則解析、Cookie 管理) 是寶貴的工程基礎,但**面對現代動態渲染、嚴格反爬、法律合規要求,官方 API 永遠是首選**。投資學習 OAuth 2.0、OpenAPI 規格、SDK 使用,比研究選擇器更有長期價值。若必須爬取無 API 的站點,請遵循 robots.txt、控制頻率、識別身分、最小化影響。

copyright © 萬盛學電腦網 all rights reserved