萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網頁製作 >> HTML 腳本教學

Python 多字符分割字符串:re.findall(r"[\w']+") 提取單詞

需求:按非字母數字字符分割

import re
text = "Hey, you - what are you doing here! welcome to jb51?"

# \w = [a-zA-Z0-9_]  匹配單詞字符
# [\w']+  連續單詞字符或撇號 (處理 don't, it's)
words = re.findall(r"[\w']+", text)
print(words)
# ['Hey', 'you', 'what', 'are', 'you', 'doing', 'here', 'welcome', 'to', 'jb51']

對比:str.split() 的局限

# 只能單一分隔符
"Hey, you".split(',')        # ['Hey', ' you']
"Hey, you".split()           # ['Hey,', 'you']  保留標點

# 多字符需鏈式 replace 或正則
"Hey, you - what".replace(',', ' ').replace('-', ' ').split()
# ['Hey', 'you', 'what']  麻烦且不通用

re.split 保留分隔符版本

# 保留分隔符
re.split(r'([,\-\s!]+)', text)
# ['Hey', ', ', 'you', ' - ', 'what', ' ', 'are', ' ', ...]

# 僅分割,不保留
re.split(r'[,\-\s!]+', text)
# ['Hey', 'you', 'what', 'are', 'you', 'doing', 'here', 'welcome', 'to', 'jb51', '']

Unicode 支持(中文分詞)

# \w 在 re.UNICODE (Py3 默認) 下匹配中文
text = "你好,世界!Hello World"
re.findall(r"\w+", text, re.UNICODE)
# ['你好', '世界', 'Hello', 'World']  # 標點自動過濾

# 但無法正確分詞(如 "北京大学" -> ['北京大学']),需 jieba 等分詞庫

性能提示

  • 預編譯:WORD_RE = re.compile(r"[\w']+")
  • 大文本流式處理:WORD_RE.finditer(text) 返回迭代器
copyright © 萬盛學電腦網 all rights reserved