Python smallseg分詞用法實例分析

 　　本文實例講述了Python smallseg分詞用法。分享給大家供大家參考。具體分析如下：

　　?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 #encoding=utf-8 #import psyco #psyco.full() words = [x.rstrip() for x in open("main.dic",mode='r',encoding='utf-8') ] from smallseg import SEG seg = SEG() print('Load dict...') seg.set(words) print("Dict is OK.") def cuttest(text): wlist = seg.cut(text) wlist.reverse() tmp = " ".join(wlist) print(tmp) print("================================") if __name__=="__main__": cuttest("這是一個伸手不見五指的黑夜。我叫孫悟空，我愛北京，我愛Python和C++。") cuttest("我不喜歡日本和服。") cuttest("雷猴回歸人間。") cuttest("工信處女干事每月經過下屬科室都要親口交代24口交換機等技術性器件的安裝工作") cuttest("我需要廉租房") cuttest("永和服裝飾品有限公司") cuttest("我愛北京天安門") cuttest("abc") cuttest("隱馬爾可夫") cuttest("雷猴是個好網站") cuttest("“Microsoft”一詞由“MICROcomputer（微型計算機）”和“SOFTware（軟件）”兩部分組成") cuttest("草泥馬和欺實馬是今年的流行詞匯") cuttest("伊籐洋華堂總府店") cuttest("中國科學院計算技術研究所") cuttest("羅密歐與朱麗葉") cuttest("我購買了道具和服裝")

　　smallseg分詞，在python3.3上運行稍微有些問題。py代碼xrange在3.*中已經改名字為range了。另外，3.*中也沒有decode函數了。

　　修改了上面的兩個地方，代碼就可移植性了。效果還可以。

　　希望本文所述對大家的Python程序設計有所幫助。