您好,登錄后才能下訂單哦!
小編給大家分享一下python怎么實現(xiàn)中文文本分句,相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!
對于英文文本分句比較簡單,只要根據(jù)終結(jié)符"."劃分就好,中文文本分句看似很簡單,但是實現(xiàn)時會遇到很多麻煩,尤其是處理社交媒體數(shù)據(jù)時,會遇到文本格式不規(guī)范等問題。
下面代碼針對一段一段的短文本組成了文檔分句
import re def cut_sent(infile, outfile): cutLineFlag = ["?", "!", "。","…"] #本文使用的終結(jié)符,可以修改 sentenceList = [] with open(infile, "r", encoding="UTF-8") as file: oneSentence = "" for line in file: if len(oneSentence)!=0: sentenceList.append(oneSentence.strip() + "\r") oneSentence="" # oneSentence = "" for word in words: if word not in cutLineFlag: oneSentence = oneSentence + word else: oneSentence = oneSentence + word if oneSentence.__len__() > 4: sentenceList.append(oneSentence.strip() + "\r") oneSentence = "" with open(outfile, "w", encoding="UTF-8") as resultFile: print(sentenceList.__len__()) resultFile.writelines(sentenceList)
如果段尾3沒有終結(jié)符但是換行了,這句話可能會丟失,所有加入如下代碼:
if len(oneSentence)!=0: sentenceList.append(oneSentence.strip() + "\r") oneSentence=""
會得到比較好的處理結(jié)果
要處理的文本:
自從微信出了三天可見功能,我的朋友圈就越來越冷清越來越冷清越來越冷清,點(diǎn)開都沒什么可看的了。今天我把屏蔽的代購一個一個一個都放出來了,快過年了,熱鬧點(diǎn) 一女性,想DIY矯正門牙縫隙,在家自己制取模型,結(jié)果悲劇了,因為用的是石膏,自己無法取出,來我院求助,醫(yī)生廢了九牛二虎之力才搞定……DIY有風(fēng)險,操作需謹(jǐn)慎! 閨女同學(xué)家養(yǎng)了一只鸚鵡,兩只珍珠鳥,一只貓,兩只倉鼠。鸚鵡是老大,珍珠鳥怕它,貓是后進(jìn)家的,也怕鸚鵡。倉鼠經(jīng)常溜出籠子,據(jù)說貓會把它逮住塞回籠子。
處理后的文本:
自從微信出了三天可見功能,我的朋友圈就越來越冷清越來越冷清越來越冷清,點(diǎn)開都沒什么可看的了。 今天我把屏蔽的代購一個一個一個都放出來了,快過年了,熱鬧點(diǎn) 一女性,想DIY矯正門牙縫隙,在家自己制取模型,結(jié)果悲劇了,因為用的是石膏,自己無法取出,來我院求助,醫(yī)生廢了九牛二虎之力才搞定… DIY有風(fēng)險,操作需謹(jǐn)慎! 閨女同學(xué)家養(yǎng)了一只鸚鵡,兩只珍珠鳥,一只貓,兩只倉鼠。 鸚鵡是老大,珍珠鳥怕它,貓是后進(jìn)家的,也怕鸚鵡。 倉鼠經(jīng)常溜出籠子,據(jù)說貓會把它逮住塞回籠子。
得到了比較好的分句結(jié)果,也不會丟失信息。
以上是“python怎么實現(xiàn)中文文本分句”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對大家有所幫助,如果還想學(xué)習(xí)更多知識,歡迎關(guān)注億速云行業(yè)資訊頻道!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。