在編寫 Python 爬蟲程式進行分頁邏輯時,常會遇到 ValueError: invalid literal for int() with base 10 錯誤。典型場景是從網頁抓取的總數為字串格式(如 '100'),直接轉換為整數後進行除法運算時拋出異常。
totalCount = '100'
totalPage = int(totalCount) / 20 # 拋出 ValueError
網路上常建議使用 round(float("1.0")) 處理浮點數轉整數,但這無法解決字串包含非數字字元(如空白、逗號、單位符號)導致的轉換失敗。
int() 僅接受純數字字串。若字串含有隱形字元(如 '100\xa0')、千分位逗號('1,000')或單位('100頁'),直接轉換即會報錯。
核心思路:移除字串中所有非數字字元後再轉換。
import re
def safe_int(value: str) -> int:
"""提取字串中的數字並轉為整數"""
numeric_str = re.sub(r'\D', '', value) # 刪除非數字字元
return int(numeric_str) if numeric_str else 0
# 實際應用
totalCount = '100' # 正常
totalCount = '1,000' # 含逗號
totalCount = '100 頁' # 含中文
totalPage = safe_int(totalCount) // 20
若字串可能為浮點數格式(如 '100.5'),可先轉為 float 再取整:
def safe_number(value: str) -> int:
numeric_str = re.sub(r'[^\d.]', '', value) # 保留數字和小數點
try:
return int(float(numeric_str))
except ValueError:
return 0
掌握這些技巧,能讓爬蟲程式更健壯,避免因資料格式波動導致的中斷。