萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> 程式語言綜合

Python 抓取網頁內容:urllib/requests 完整範例與錯誤處理

標準庫 urllib.request (無第三方依賴)

第三方 requests (推薦:API 更人性化)

進階:Session 保持連線、Cookie、重試

儲存二進位檔案 (圖片、PDF)

非同步高效能:aiohttp (Python 3.7+)

反爬蟲基本應對

  • 設定合理 User-Agent。
  • 加入 Referer、Accept-Language。
  • 控制請求頻率 time.sleep(random.uniform(1,3))。
  • 使用 Proxy IP 池。
  • 處理 JavaScript 渲染頁面:selenium / playwright / requests-html。

法律與道德提醒

請遵守 robots.txt、網站服務條款、著作權法。高頻爬取可能構成攻擊行為,請節制頻率並善用快取。

copyright © 萬盛學電腦網 all rights reserved