萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> 程式語言綜合

Python ValueError: invalid literal for int() with base 10 完整解決方案

問題背景

在編寫 Python 爬蟲程式進行分頁邏輯時,常會遇到 ValueError: invalid literal for int() with base 10 錯誤。典型場景是從網頁抓取的總數為字串格式(如 '100'),直接轉換為整數後進行除法運算時拋出異常。

錯誤重現

totalCount = '100'
totalPage = int(totalCount) / 20  # 拋出 ValueError

常見誤區

網路上常建議使用 round(float("1.0")) 處理浮點數轉整數,但這無法解決字串包含非數字字元(如空白、逗號、單位符號)導致的轉換失敗。

根本原因

int() 僅接受純數字字串。若字串含有隱形字元(如 '100\xa0')、千分位逗號('1,000')或單位('100頁'),直接轉換即會報錯。

正確解決方案

核心思路:移除字串中所有非數字字元後再轉換。

import re

def safe_int(value: str) -> int:
    """提取字串中的數字並轉為整數"""
    numeric_str = re.sub(r'\D', '', value)  # 刪除非數字字元
    return int(numeric_str) if numeric_str else 0

# 實際應用
totalCount = '100'          # 正常
totalCount = '1,000'        # 含逗號
totalCount = '100 頁'       # 含中文
totalPage = safe_int(totalCount) // 20

進階技巧:處理浮點數字串

若字串可能為浮點數格式(如 '100.5'),可先轉為 float 再取整:

def safe_number(value: str) -> int:
    numeric_str = re.sub(r'[^\d.]', '', value)  # 保留數字和小數點
    try:
        return int(float(numeric_str))
    except ValueError:
        return 0

最佳實踐建議

  • 資料清洗應在資料進入業務邏輯前完成
  • 建立通用工具函式庫,統一處理各類髒資料
  • 針對固定格式(如分頁總數),可寫專用解析器並加單元測試

掌握這些技巧,能讓爬蟲程式更健壯,避免因資料格式波動導致的中斷。

copyright © 萬盛學電腦網 all rights reserved