萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> 程式語言綜合

Python 提取網頁所有超鏈接:urllib + BeautifulSoup 實戰

從網頁抓取所有 `` 連結是爬蟲基礎操作,本文示範使用 urllib 獲取頁面、BeautifulSoup 解析提取連結、處理相對/絕對 URL、去重與過濾。

完整提取腳本

import urllib.request
from urllib.parse import urljoin, urlparse
from bs4 import BeautifulSoup

def extract_links(url):
    try:
        with urllib.request.urlopen(url, timeout=10) as resp:
            html = resp.read()
    except Exception as e:
        print(f"Fetch failed: {e}")
        return []
    
    soup = BeautifulSoup(html, 'html.parser')
    base_url = resp.geturl()  # 取得最終 URL (處理重導向)
    
    links = set()
    for a in soup.find_all('a', href=True):
        href = a['href'].strip()
        if not href or href.startswith(('javascript:', 'mailto:', 'tel:', '#')):
            continue
        # 轉為絕對 URL
        abs_url = urljoin(base_url, href)
        # 可選:只保留同域名
        if urlparse(abs_url).netloc == urlparse(base_url).netloc:
            links.add(abs_url)
    
    return sorted(links)

if __name__ == '__main__':
    target = 'https://example.com'
    for link in extract_links(target):
        print(link)

關鍵步驟解析

  1. 獲取 HTML:urllib.request.urlopen 或 requests.get。
  2. 解析器:BeautifulSoup(html, 'html.parser') (標準庫) 或 'lxml' (需安裝,更快)。
  3. 查找所有 ``:soup.find_all('a', href=True) 只選有 href 屬性的標籤。
  4. URL 正規化:urljoin(base, href) 處理相對路徑 (如 /about, ../page)。
  5. 去重:使用 set()。
  6. 過濾:排除 javascript:, mailto:, tel:, # 錨點等非導航連結。

進階:提取其他屬性

for a in soup.find_all('a'):
    print({
        'href': a.get('href'),
        'text': a.get_text(strip=True),
        'title': a.get('title'),
        'rel': a.get('rel'),
        'target': a.get('target'),
        'class': a.get('class')
    })

效能提示

  • 大量頁面改用 aiohttp + lxml 異步解析。
  • 僅需連結可用 lxml.html 的 iterlinks() 避免建構完整 DOM 樹。

法律合規提醒

  • 遵守 robots.txt 與網站服務條款。
  • 設定合理 User-Agent、請求間隔、並發數。
  • 勿爬取需登入/私有/受版權保護內容。
copyright © 萬盛學電腦網 all rights reserved