| 特性 | Requests + 手寫 | Scrapy |
| 架構 | 自行組裝 | 內建調度器、下載器、管道、中介軟體 |
| 並發 | 需自行實現 (threading/asyncio/gevent) | 非阻塞異步 (Twisted),高併發原生支援 |
| 重試/去重/限速 | 手寫 | 內建可配置 |
| 資料導出 | 手寫 JSON/CSV/DB | Feed Exports 一鍵導出 |
| 選取器 | BeautifulSoup/lxml 手寫 | 內建 XPath/CSS 選取器 (lxml/cffi) |
| 擴充性 | 靈活但需造輪子 | 中介軟體/管道/擴充機制完善 |
| 學習曲線 | 低 | 中 (概念較多) |
專案結構
meizitu_scraper/
├── scrapy.cfg
├── meizitu_scraper/
│ ├── __init__.py
│ ├── items.py # 資料模型
│ ├── pipelines.py # 管道:圖片下載、存儲
│ ├── settings.py # 設定
│ ├── middlewares.py # 中介軟體 (UA 旋轉、代理、去重)
│ └── spiders/
│ ├── __init__.py
│ └── meizitu.py # 爬蟲邏輯
核心代碼實作
1. 定義 Item (資料模型)
# items.py
import scrapy
class MeizituItem(scrapy.Item):
# 圖集標題
name = scrapy.Field()
# 標籤/分類
tags = scrapy.Field()
# 圖片 URL 列表 (ImagesPipeline 會自動下載)
image_urls = scrapy.Field()
# 下載後的本地路徑資訊 (ImagesPipeline 填充)
images = scrapy.Field()
# 來源頁面 URL
url = scrapy.Field()
2. 爬蟲邏輯
# spiders/meizitu.py
# -*- coding: utf-8 -*-
import scrapy
from scrapy.loader import ItemLoader
from scrapy.loader.processors import Identity, TakeFirst, MapCompose, Join
from meizitu_scraper.items import MeizituItem
class MeizituSpider(scrapy.Spider):
name = 'meizitu'
allowed_domains = ['meizitu.com']
start_urls = ['https://www.meizitu.com/']
# 自訂設定 (覆蓋 settings.py)
custom_settings = {
'DOWNLOAD_DELAY': 1, # 禮貌延遲 1 秒
'CONCURRENT_REQUESTS': 16, # 全域並發
'CONCURRENT_REQUESTS_PER_DOMAIN': 8,
'IMAGES_STORE': 'images', # 圖片儲存目錄
'IMAGES_EXPIRES': 90, # 90 天內不重複下載
'ITEM_PIPELINES': {
'scrapy.pipelines.images.ImagesPipeline': 1,
'meizitu_scraper.pipelines.MeizituPipeline': 300,
},
# 使用者代理輪換
'DOWNLOADER_MIDDLEWARES': {
'meizitu_scraper.middlewares.RandomUserAgentMiddleware': 400,
}
}
def parse(self, response):
"""解析列表頁:提取圖集連結 + 翻頁"""
# 1. 提取所有圖集詳情頁連結
for link in response.xpath("//h2/a/@href").getall():
yield response.follow(link, callback=self.parse_item)
# 2. 翻頁:找到分頁導航的「下一頁」或最後一頁
# 站點結構:/a/list_1_2.html (分類_頁碼.html)
# 這裡簡單處理:提取所有分頁連結,去重後跟進
page_links = response.xpath("//div[@id='wp_page_numbers']/ul/li/a/@href").getall()
for link in page_links:
# 避免重複爬取首頁
if not link.endswith('list_1_1.html'):
yield response.follow(link, callback=self.parse)
def parse_item(self, response):
"""解析圖集詳情頁"""
loader = ItemLoader(item=MeizituItem(), response=response)
# 使用 XPath/CSS 選取器 + 處理器
loader.default_output_processor = TakeFirst()
# 標題
loader.add_xpath('name', "//h2/a/text()")
# 標籤 (可能多個)
loader.add_xpath('tags', "//div[@class='metaRight']/p//text()", Join(', '))
# 圖片 URLs (關鍵:Identity() 保持列表不扁平化)
loader.add_xpath('image_urls', "//div[@id='picture']/p/img/@src", Identity())
# 來源 URL
loader.add_value('url', response.url)
yield loader.load_item()
3. 圖片管道 (ImagesPipeline 內建)
settings.py 中已啟用 ImagesPipeline,它會自動:
- 下載
image_urls 中所有圖片
- 去重 (URL 指紋)
- 轉換格式/縮圖 (可配置)
- 將結果寫入
images 欄位:[{'url':..., 'path':..., 'checksum':...}]
4. 自訂管道:存儲元資料至 JSON/資料庫
# pipelines.py
import json
import sqlite3
from itemadapter import ItemAdapter
class MeizituPipeline:
def __init__(self):
self.file = open('meizitu_metadata.jsonl', 'w', encoding='utf-8')
self.conn = sqlite3.connect('meizitu.db')
self.conn.execute('''
CREATE TABLE IF NOT EXISTS albums (
id INTEGER PRIMARY KEY AUTOINCREMENT,
name TEXT, tags TEXT, url TEXT UNIQUE, crawl_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP
)
''')
self.conn.execute('''
CREATE TABLE IF NOT EXISTS images (
id INTEGER PRIMARY KEY AUTOINCREMENT,
album_id INTEGER, url TEXT, path TEXT, checksum TEXT,
FOREIGN KEY(album_id) REFERENCES albums(id)
)
''')
def process_item(self, item, spider):
adapter = ItemAdapter(item)
# 寫入 JSONL
self.file.write(json.dumps(adapter.asdict(), ensure_ascii=False) + '\n')
# 寫入 SQLite
cur = self.conn.cursor()
cur.execute('INSERT OR IGNORE INTO albums (name, tags, url) VALUES (?, ?, ?)',
(adapter.get('name'), adapter.get('tags'), adapter.get('url')))
album_id = cur.lastrowid
if album_id == 0: # 已存在
cur.execute('SELECT id FROM albums WHERE url=?', (adapter.get('url'),))
album_id = cur.fetchone()[0]
for img in adapter.get('images', []):
cur.execute('''INSERT OR IGNORE INTO images (album_id, url, path, checksum)
VALUES (?, ?, ?, ?)''',
(album_id, img['url'], img['path'], img['checksum']))
self.conn.commit()
return item
def close_spider(self, spider):
self.file.close()
self.conn.close()
5. 中介軟體:隨機 User-Agent
# middlewares.py
import random
from scrapy import signals
USER_AGENTS = [
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:121.0) Gecko/20100101 Firefox/121.0',
# ... 更多
]
class RandomUserAgentMiddleware:
def process_request(self, request, spider):
request.headers.setdefault('User-Agent', random.choice(USER_AGENTS))
執行與部署
# 安裝
pip install scrapy pillow # pillow 為 ImagesPipeline 處理圖片所需
# 執行爬蟲
scrapy crawl meizitu
# 導出資料 (Feed Exports)
scrapy crawl meizitu -o meizitu.json
scrapy crawl meizitu -o meizitu.csv
scrapy crawl meizitu -o meizitu.jsonl
# 部署到 Scrapyd (生產環境守護進程)
pip install scrapyd scrapyd-client
scrapyd-deploy -p meizitu_scraper # 需配置 scrapy.cfg
curl https://localhost:6800/schedule.json -d project=meizitu_scraper -d spider=meizitu
關鍵設定優化 (settings.py)
# 核心效能設定
CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 16
DOWNLOAD_DELAY = 0.5
RANDOMIZE_DOWNLOAD_DELAY = True # 隨機 0.5~1.5 倍
# 自動限速 (AUTO_THROTTLE) - 強烈推薦開啟
AUTOTHROTTLE_ENABLED = True
AUTOTHROTTLE_START_DELAY = 1
AUTOTHROTTLE_MAX_DELAY = 10
AUTOTHROTTLE_TARGET_CONCURRENCY = 2.0
AUTOTHROTTLE_DEBUG = False
# 去重
DUPEFILTER_CLASS = 'scrapy.dupefilters.RFPDupeFilter' # 預設
# 大規模可用 Redis 去重: scrapy_redis.dupefilter.RFPDupeFilter
# HTTP 快取 (開發/測試用)
HTTPCACHE_ENABLED = True
HTTPCACHE_EXPIRATION_SECS = 3600
HTTPCACHE_DIR = 'httpcache'
# 日誌
LOG_LEVEL = 'INFO'
LOG_FILE = 'scrapy.log'
常見問題與解決
| 問題 | 解決 |
| 圖片不下載 | 檢查 image_urls 是列表、IMAGES_STORE 路徑、管道順序 (ImagesPipeline 在前) |
| 中文亂碼 | 確保檔案 UTF-8、ensure_ascii=False、資料庫連線 charset=utf8mb4 |
| 403/404/反爬 | 加 Referer、Cookie、代理 IP、降低併發、模擬瀏覽器指紋 |
| 記憶體暴增 | 減少 CONCURRENT_REQUESTS、啟用 HTTPCACHE、避免在 Spider 累積大量資料 |
| 斷點續爬 | 使用 scrapy crawl meizitu -s JOBDIR=checkpoints/meizitu |
總結
Scrapy 以「非阻塞異步 + 組件化架構」解決爬蟲工程化難題。妹子圖爬取展示了:列表頁遞迴翻頁、詳情頁結構化解析、ImagesPipeline 自動下載去重、自訂管道持久化、中介軟體輪換 UA。掌握 Scrapy 核心概念 (Spider、Selector、Item、Pipeline、Middleware、Settings),即可應對 95% 爬蟲需求。
copyright ©
萬盛學電腦網 all rights reserved