需求:按非字母數字字符分割
import re
text = "Hey, you - what are you doing here! welcome to jb51?"
# \w = [a-zA-Z0-9_] 匹配單詞字符
# [\w']+ 連續單詞字符或撇號 (處理 don't, it's)
words = re.findall(r"[\w']+", text)
print(words)
# ['Hey', 'you', 'what', 'are', 'you', 'doing', 'here', 'welcome', 'to', 'jb51']
對比:str.split() 的局限
# 只能單一分隔符
"Hey, you".split(',') # ['Hey', ' you']
"Hey, you".split() # ['Hey,', 'you'] 保留標點
# 多字符需鏈式 replace 或正則
"Hey, you - what".replace(',', ' ').replace('-', ' ').split()
# ['Hey', 'you', 'what'] 麻烦且不通用
re.split 保留分隔符版本
# 保留分隔符
re.split(r'([,\-\s!]+)', text)
# ['Hey', ', ', 'you', ' - ', 'what', ' ', 'are', ' ', ...]
# 僅分割,不保留
re.split(r'[,\-\s!]+', text)
# ['Hey', 'you', 'what', 'are', 'you', 'doing', 'here', 'welcome', 'to', 'jb51', '']
Unicode 支持(中文分詞)
# \w 在 re.UNICODE (Py3 默認) 下匹配中文
text = "你好,世界!Hello World"
re.findall(r"\w+", text, re.UNICODE)
# ['你好', '世界', 'Hello', 'World'] # 標點自動過濾
# 但無法正確分詞(如 "北京大学" -> ['北京大学']),需 jieba 等分詞庫
性能提示
- 預編譯:
WORD_RE = re.compile(r"[\w']+")
- 大文本流式處理:
WORD_RE.finditer(text) 返回迭代器