萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

Python 爬蟲實戰:urllib2 + BeautifulSoup 解析入庫 MongoDB

一、技術棧與工具鏈

  • urllib2:Python 2 標準庫 HTTP 客戶端(Python 3 使用 urllib.request)
  • BeautifulSoup 4 (bs4):強大的 HTML/XML 解析庫,容錯性極佳
  • PyMongo:MongoDB 官方 Python 驅動
  • re / datetime:正則提取與時間處理

二、目標數據結構分析

目標頁面包含列表項,每項需提取:

  • 標題、內容詳情(需二次請求)
  • 股票名稱與 ID(數組格式存儲)
  • 發布時間(轉換為 MongoDB ISODate)
  • 圍觀人數(整數)

頁面結構分析圖

三、核心代碼實現

1. 數據庫連接與配置

# -*- coding: utf-8 -*-
import time
from bs4 import BeautifulSoup
import urllib2
import pymongo
import re
import datetime

# MongoDB 連接(生產環境建議使用連接池與認證)
connection = pymongo.Connection('192.168.1.2', 27017)
db = connection.test_hq  # 數據庫
collection = db.test     # 集合

2. 列表頁解析與詳情頁抓取

def update():
    datas = {}
    # 遍歷列表頁所有項目
    for item in soup.find_all("div", class_="item"):
        # 基礎 ID 提取(從鏈接解析)
        datas['_id'] = str(item.h2.a['href']).split('/')[-1].split('.')[0]
        datas['title'] = item.h2.get_text(strip=True)
        
        # 二次請求獲取詳情內容
        url2 = item.h2.a['href']
        html2 = urllib2.urlopen(url2, timeout=10)
        html_doc2 = html2.read()
        soup2 = BeautifulSoup(html_doc2, 'html.parser')
        datas['content'] = soup2.find(attrs={"name": "description"})['content']
        
        # 股票信息提取(中文名 + 數字 ID)
        stock_text = item.find(class_="stocks").get_text()
        datas['stock_name'] = re.findall(u"[\u4e00-\u9fa5]+", stock_text)
        datas['stock_id'] = re.findall(r"\d+", stock_text)
        
        # 時間解析與時區轉換(UTC+8 轉 UTC)
        date_str = re.search(r"\w+.*\w+", item.find(class_="fl date").span.get_text()).group()
        dt = datetime.datetime.strptime(date_str, '%Y-%m-%d %H:%M') - datetime.timedelta(hours=8)
        datas['update_time'] = dt
        
        # 圍觀數
        datas['onlooker'] = int(re.search(r"\d+", item.find(class_="icons ic-wg").get_text()).group())
        
        # 寫入 MongoDB(upsert 防重複)
        collection.save(datas)

3. 增量更新調度器

def get_data():
    global soup
    latest_id = str(soup.h2.a['href']).split('/')[-1].split('.')[0]
    
    # 讀取上次記錄的最新 ID
    try:
        with open('update.txt', 'r') as f:
            last_id = f.readline().strip()
    except IOError:
        last_id = ''
    
    if latest_id == last_id:
        print '目前無更新:', latest_id
        return
    
    # 更新記錄並執行抓取
    with open('update.txt', 'w') as f:
        f.write(latest_id)
    update()

# 主循環:每 30 秒輪詢一次
if __name__ == '__main__':
    while True:
        url = 'https://www.ipython.me/qingbao/'
        html = urllib2.urlopen(url, timeout=10)
        html_doc = html.read()
        soup = BeautifulSoup(html_doc, 'html.parser')
        get_data()
        time.sleep(30)

數據入庫結果

四、生產環境優化建議

  1. 異步併發:使用 gevent/asyncio + aiohttp 替換同步 urllib2,提升 10-50 倍吞吐
  2. 去重策略:MongoDB 唯一索引 _id + update_one(upsert=True) 替代 save()
  3. 異常處理:網絡超時、解析失敗、數據庫連接斷開的完整 try/except/retry 機制
  4. 反爬應對:User-Agent 池、代理 IP 輪換、請求頻率控制、Cookie 管理
  5. 監控告警:抓取成功率、延遲、數據量波動的實時監控

五、Python 3 遷移提示

# Python 3 關鍵變更
import urllib.request as urllib2  # 模組重命名
# print 語句 -> 函數
# unicode 字面量默認,移除 u"" 前綴
# pymongo.Connection -> pymongo.MongoClient

這個案例展示了從頁面分析、數據提取、清洗轉換到持久化存儲的完整爬蟲流程,是數據採集項目的經典範本。

copyright © 萬盛學電腦網 all rights reserved