您好,登錄后才能下訂單哦!
這篇文章主要介紹“python分詞工具有哪些及怎么用”的相關(guān)知識,小編通過實(shí)際案例向大家展示操作過程,操作方法簡單快捷,實(shí)用性強(qiáng),希望這篇“python分詞工具有哪些及怎么用”文章能幫助大家解決問題。
“結(jié)巴”分詞,GitHub最受歡迎的分詞工具,立志做最好的 Python 中文分詞組件,支持多種分詞模式,支持自定義詞典。
github star:26k
代碼示例
import jieba
strs=["我來到北京清華大學(xué)","乒乓球拍賣完了","中國科學(xué)技術(shù)大學(xué)"]
for str in strs:
seg_list = jieba.cut(str,use_paddle=True) # 使用paddle模式
print("Paddle Mode: " + '/'.join(list(seg_list)))
seg_list = jieba.cut("我來到北京清華大學(xué)", cut_all=True)
print("全模式: " + "/ ".join(seg_list)) # 全模式
seg_list = jieba.cut("我來到北京清華大學(xué)", cut_all=False)
print("精確模式: " + "/ ".join(seg_list)) # 精確模式
seg_list = jieba.cut("他來到了網(wǎng)易杭研大廈") # 默認(rèn)是精確模式
print("新詞識別:", ",".join(seg_list))
seg_list = jieba.cut_for_search("小明碩士畢業(yè)于中國科學(xué)院計(jì)算所,后在日本京都大學(xué)深造") # 搜索引擎模式
print("搜索引擎模式:", ".join(seg_list))
輸出:
【全模式】: 我/ 來到/ 北京/ 清華/ 清華大學(xué)/ 華大/ 大學(xué)
【精確模式】: 我/ 來到/ 北京/ 清華大學(xué)
【新詞識別】:他, 來到, 了, 網(wǎng)易, 杭研, 大廈 (此處,“杭研”并沒有在詞典中,但是也被Viterbi算法識別出來了)
【搜索引擎模式】: 小明, 碩士, 畢業(yè), 于, 中國, 科學(xué), 學(xué)院, 科學(xué)院, 中國科學(xué)院, 計(jì)算, 計(jì)算所, 后, 在, 日本, 京都, 大學(xué), 日本京都大學(xué), 深造
pkuseg 是北大語言計(jì)算與機(jī)器學(xué)習(xí)研究組開源的一款分詞工具,它的特點(diǎn)是支持多領(lǐng)域分詞,目前支持新聞領(lǐng)域,網(wǎng)絡(luò)領(lǐng)域,醫(yī)藥領(lǐng)域,旅游領(lǐng)域,以及混合領(lǐng)域的分詞預(yù)訓(xùn)練模型,用戶可以自由地選擇不同的模型。相比通用分詞工具,它的分詞準(zhǔn)確率更高 。
github star:5.4k
代碼示例
import pkuseg
seg = pkuseg.pkuseg() # 以默認(rèn)配置加載模型
text = seg.cut('python是一門很棒的語言') # 進(jìn)行分詞
print(text)
輸出
['python', '是', '一', '門', '很', '棒', '的', '語言']
基于BiLSTM模型訓(xùn)練而成,據(jù)說可能是最準(zhǔn)的開源中文分詞,同樣支持用戶自定義詞典。
GitHub star: 1.6k
代碼示例
import fool
text = "一個(gè)傻子在北京"
print(fool.cut(text))
# ['一個(gè)', '傻子', '在', '北京']
THULAC由清華大學(xué)自然語言處理與社會人文計(jì)算實(shí)驗(yàn)室研制推出的一套中文詞法分析工具包。具有詞性標(biāo)注功能,能分析出某個(gè)詞是名詞還是動詞或者形容詞。
github star:1.5k
代碼示例1
代碼示例1
import thulac
thu1 = thulac.thulac() #默認(rèn)模式
text = thu1.cut("我愛北京天安門", text=True) #進(jìn)行一句話分詞
print(text) # 我_r 愛_v 北京_ns 天安門_ns
代碼示例2
thu1 = thulac.thulac(seg_only=True) #只進(jìn)行分詞,不進(jìn)行詞性標(biāo)注
thu1.cut_f("input.txt", "output.txt") #對input.txt文件內(nèi)容進(jìn)行分詞,輸出到output.txt
關(guān)于“python分詞工具有哪些及怎么用”的內(nèi)容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識,可以關(guān)注億速云行業(yè)資訊頻道,小編每天都會為大家更新不同的知識點(diǎn)。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。