萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> 程式語言綜合

Python Scrapy 爬蟲框架實戰:妹子圖全站圖片爬取完整教學

為什麼選 Scrapy?

專案結構


meizitu_scraper/
├── scrapy.cfg
├── meizitu_scraper/
│   ├── __init__.py
│   ├── items.py          # 資料模型
│   ├── pipelines.py      # 管道:圖片下載、存儲
│   ├── settings.py       # 設定
│   ├── middlewares.py    # 中介軟體 (UA 旋轉、代理、去重)
│   └── spiders/
│       ├── __init__.py
│       └── meizitu.py    # 爬蟲邏輯

核心代碼實作

1. 定義 Item (資料模型)


# items.py
import scrapy

class MeizituItem(scrapy.Item):
    # 圖集標題
    name = scrapy.Field()
    # 標籤/分類
    tags = scrapy.Field()
    # 圖片 URL 列表 (ImagesPipeline 會自動下載)
    image_urls = scrapy.Field()
    # 下載後的本地路徑資訊 (ImagesPipeline 填充)
    images = scrapy.Field()
    # 來源頁面 URL
    url = scrapy.Field()

2. 爬蟲邏輯


# spiders/meizitu.py
# -*- coding: utf-8 -*-
import scrapy
from scrapy.loader import ItemLoader
from scrapy.loader.processors import Identity, TakeFirst, MapCompose, Join
from meizitu_scraper.items import MeizituItem

class MeizituSpider(scrapy.Spider):
    name = 'meizitu'
    allowed_domains = ['meizitu.com']
    start_urls = ['https://www.meizitu.com/']
    
    # 自訂設定 (覆蓋 settings.py)
    custom_settings = {
        'DOWNLOAD_DELAY': 1,           # 禮貌延遲 1 秒
        'CONCURRENT_REQUESTS': 16,     # 全域並發
        'CONCURRENT_REQUESTS_PER_DOMAIN': 8,
        'IMAGES_STORE': 'images',      # 圖片儲存目錄
        'IMAGES_EXPIRES': 90,          # 90 天內不重複下載
        'ITEM_PIPELINES': {
            'scrapy.pipelines.images.ImagesPipeline': 1,
            'meizitu_scraper.pipelines.MeizituPipeline': 300,
        },
        # 使用者代理輪換
        'DOWNLOADER_MIDDLEWARES': {
            'meizitu_scraper.middlewares.RandomUserAgentMiddleware': 400,
        }
    }
    
    def parse(self, response):
        """解析列表頁:提取圖集連結 + 翻頁"""
        # 1. 提取所有圖集詳情頁連結
        for link in response.xpath("//h2/a/@href").getall():
            yield response.follow(link, callback=self.parse_item)
        
        # 2. 翻頁:找到分頁導航的「下一頁」或最後一頁
        # 站點結構:/a/list_1_2.html (分類_頁碼.html)
        # 這裡簡單處理:提取所有分頁連結,去重後跟進
        page_links = response.xpath("//div[@id='wp_page_numbers']/ul/li/a/@href").getall()
        for link in page_links:
            # 避免重複爬取首頁
            if not link.endswith('list_1_1.html'):
                yield response.follow(link, callback=self.parse)
    
    def parse_item(self, response):
        """解析圖集詳情頁"""
        loader = ItemLoader(item=MeizituItem(), response=response)
        
        # 使用 XPath/CSS 選取器 + 處理器
        loader.default_output_processor = TakeFirst()
        
        # 標題
        loader.add_xpath('name', "//h2/a/text()")
        
        # 標籤 (可能多個)
        loader.add_xpath('tags', "//div[@class='metaRight']/p//text()", Join(', '))
        
        # 圖片 URLs (關鍵:Identity() 保持列表不扁平化)
        loader.add_xpath('image_urls', "//div[@id='picture']/p/img/@src", Identity())
        
        # 來源 URL
        loader.add_value('url', response.url)
        
        yield loader.load_item()

3. 圖片管道 (ImagesPipeline 內建)

settings.py 中已啟用 ImagesPipeline,它會自動:

  1. 下載 image_urls 中所有圖片
  2. 去重 (URL 指紋)
  3. 轉換格式/縮圖 (可配置)
  4. 將結果寫入 images 欄位:[{'url':..., 'path':..., 'checksum':...}]

4. 自訂管道:存儲元資料至 JSON/資料庫


# pipelines.py
import json
import sqlite3
from itemadapter import ItemAdapter

class MeizituPipeline:
    def __init__(self):
        self.file = open('meizitu_metadata.jsonl', 'w', encoding='utf-8')
        self.conn = sqlite3.connect('meizitu.db')
        self.conn.execute('''
            CREATE TABLE IF NOT EXISTS albums (
                id INTEGER PRIMARY KEY AUTOINCREMENT,
                name TEXT, tags TEXT, url TEXT UNIQUE, crawl_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP
            )
        ''')
        self.conn.execute('''
            CREATE TABLE IF NOT EXISTS images (
                id INTEGER PRIMARY KEY AUTOINCREMENT,
                album_id INTEGER, url TEXT, path TEXT, checksum TEXT,
                FOREIGN KEY(album_id) REFERENCES albums(id)
            )
        ''')
    
    def process_item(self, item, spider):
        adapter = ItemAdapter(item)
        
        # 寫入 JSONL
        self.file.write(json.dumps(adapter.asdict(), ensure_ascii=False) + '\n')
        
        # 寫入 SQLite
        cur = self.conn.cursor()
        cur.execute('INSERT OR IGNORE INTO albums (name, tags, url) VALUES (?, ?, ?)',
                    (adapter.get('name'), adapter.get('tags'), adapter.get('url')))
        album_id = cur.lastrowid
        if album_id == 0:  # 已存在
            cur.execute('SELECT id FROM albums WHERE url=?', (adapter.get('url'),))
            album_id = cur.fetchone()[0]
        
        for img in adapter.get('images', []):
            cur.execute('''INSERT OR IGNORE INTO images (album_id, url, path, checksum)
                           VALUES (?, ?, ?, ?)''',
                        (album_id, img['url'], img['path'], img['checksum']))
        self.conn.commit()
        return item
    
    def close_spider(self, spider):
        self.file.close()
        self.conn.close()

5. 中介軟體:隨機 User-Agent


# middlewares.py
import random
from scrapy import signals

USER_AGENTS = [
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:121.0) Gecko/20100101 Firefox/121.0',
    # ... 更多
]

class RandomUserAgentMiddleware:
    def process_request(self, request, spider):
        request.headers.setdefault('User-Agent', random.choice(USER_AGENTS))

執行與部署


# 安裝
pip install scrapy pillow  # pillow 為 ImagesPipeline 處理圖片所需

# 執行爬蟲
scrapy crawl meizitu

# 導出資料 (Feed Exports)
scrapy crawl meizitu -o meizitu.json
scrapy crawl meizitu -o meizitu.csv
scrapy crawl meizitu -o meizitu.jsonl

# 部署到 Scrapyd (生產環境守護進程)
pip install scrapyd scrapyd-client
scrapyd-deploy -p meizitu_scraper  # 需配置 scrapy.cfg
curl https://localhost:6800/schedule.json -d project=meizitu_scraper -d spider=meizitu

關鍵設定優化 (settings.py)


# 核心效能設定
CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 16
DOWNLOAD_DELAY = 0.5
RANDOMIZE_DOWNLOAD_DELAY = True  # 隨機 0.5~1.5 倍

# 自動限速 (AUTO_THROTTLE) - 強烈推薦開啟
AUTOTHROTTLE_ENABLED = True
AUTOTHROTTLE_START_DELAY = 1
AUTOTHROTTLE_MAX_DELAY = 10
AUTOTHROTTLE_TARGET_CONCURRENCY = 2.0
AUTOTHROTTLE_DEBUG = False

# 去重
DUPEFILTER_CLASS = 'scrapy.dupefilters.RFPDupeFilter'  # 預設
# 大規模可用 Redis 去重: scrapy_redis.dupefilter.RFPDupeFilter

# HTTP 快取 (開發/測試用)
HTTPCACHE_ENABLED = True
HTTPCACHE_EXPIRATION_SECS = 3600
HTTPCACHE_DIR = 'httpcache'

# 日誌
LOG_LEVEL = 'INFO'
LOG_FILE = 'scrapy.log'

常見問題與解決

特性Requests + 手寫Scrapy
架構自行組裝內建調度器、下載器、管道、中介軟體
並發需自行實現 (threading/asyncio/gevent)非阻塞異步 (Twisted),高併發原生支援
重試/去重/限速手寫內建可配置
資料導出手寫 JSON/CSV/DBFeed Exports 一鍵導出
選取器BeautifulSoup/lxml 手寫內建 XPath/CSS 選取器 (lxml/cffi)
擴充性靈活但需造輪子中介軟體/管道/擴充機制完善
學習曲線低中 (概念較多)
問題解決
圖片不下載檢查 image_urls 是列表、IMAGES_STORE 路徑、管道順序 (ImagesPipeline 在前)
中文亂碼確保檔案 UTF-8、ensure_ascii=False、資料庫連線 charset=utf8mb4
403/404/反爬加 Referer、Cookie、代理 IP、降低併發、模擬瀏覽器指紋
記憶體暴增減少 CONCURRENT_REQUESTS、啟用 HTTPCACHE、避免在 Spider 累積大量資料
斷點續爬使用 scrapy crawl meizitu -s JOBDIR=checkpoints/meizitu

總結

Scrapy 以「非阻塞異步 + 組件化架構」解決爬蟲工程化難題。妹子圖爬取展示了:列表頁遞迴翻頁、詳情頁結構化解析、ImagesPipeline 自動下載去重、自訂管道持久化、中介軟體輪換 UA。掌握 Scrapy 核心概念 (Spider、Selector、Item、Pipeline、Middleware、Settings),即可應對 95% 爬蟲需求。

copyright © 萬盛學電腦網 all rights reserved