實(shí)用Python文本預(yù)處理代碼有哪些

這篇文章主要介紹“實(shí)用Python文本預(yù)處理代碼有哪些”，在日常操作中，相信很多人在實(shí)用Python文本預(yù)處理代碼有哪些問(wèn)題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”實(shí)用Python文本預(yù)處理代碼有哪些”的疑惑有所幫助！接下來(lái)，請(qǐng)跟著小編一起來(lái)學(xué)習(xí)吧！

將文本中出現(xiàn)的字母轉(zhuǎn)化為小寫(xiě)

示例1：將字母轉(zhuǎn)化為小寫(xiě)

Python 實(shí)現(xiàn)代碼：

input_str = ”The 5 biggest countries by population in 2017 are China, India, United States, Indonesia, and Brazil.”  input_strinput_str = input_str.lower()  print(input_str)

輸出：

the 5 biggest countries by population in 2017 are china, india, united states, indonesia, and brazil.

刪除文本中出現(xiàn)的數(shù)字

如果文本中的數(shù)字與文本分析無(wú)關(guān)的話(huà)，那就刪除這些數(shù)字。通常，正則化表達(dá)式可以幫助你實(shí)現(xiàn)這一過(guò)程。

示例2：刪除數(shù)字

Python 實(shí)現(xiàn)代碼：     

import re  input_str = ’Box A contains 3 red and 5 white balls, while Box B contains 4 red and 2 blue balls.’  reresult = re.sub(r’\d+’, ‘’, input_str)  print(result)

輸出：

Box A contains red and white balls, while Box B contains red and blue balls.

刪除文本中出現(xiàn)的標(biāo)點(diǎn)

以下示例代碼演示如何刪除文本中的標(biāo)點(diǎn)符號(hào)，如 [!”#$%&&rsquo;()*+,-./:;<=>?@[\]^_`{|}~] 等符號(hào)。

示例3：刪除標(biāo)點(diǎn)

Python 實(shí)現(xiàn)代碼：

import string  input_str = “This &is [an] example? {of} string. with.? punctuation!!!!” # Sample string  result = input_str.translate(string.maketrans(“”,””), string.punctuation) print(result)

輸出：

This is an example of string with punctuation

刪除文本中出現(xiàn)的空格

可以通過(guò) strip()函數(shù)移除文本前后出現(xiàn)的空格。

示例4：刪除空格

Python 實(shí)現(xiàn)代碼：

input_str = “ \t a string example\t “  input_strinput_str = input_str.strip()  input_str

輸出：

‘a string example’

符號(hào)化（Tokenization）

符號(hào)化是將給定的文本拆分成每個(gè)帶標(biāo)記的小模塊的過(guò)程，其中單詞、數(shù)字、標(biāo)點(diǎn)及其他符號(hào)等都可視為是一種標(biāo)記。在下表中（Tokenization sheet），羅列出用于實(shí)現(xiàn)符號(hào)化過(guò)程的一些常用工具。

刪除文本中出現(xiàn)的終止詞

終止詞（Stop words） 指的是“a”，“a”，“on”，“is”，“all”等語(yǔ)言中最常見(jiàn)的詞。這些詞語(yǔ)沒(méi)什么特別或重要意義，通?？梢詮奈谋局袆h除。一般使用 Natural Language Toolkit（NLTK） 來(lái)刪除這些終止詞，這是一套專(zhuān)門(mén)用于符號(hào)和自然語(yǔ)言處理統(tǒng)計(jì)的開(kāi)源庫(kù)。

示例7：刪除終止詞

實(shí)現(xiàn)代碼：

input_str = “NLTK is a leading platform for building Python programs to work with human language data.”  stop_words = set(stopwords.words(‘english’))  from nltk.tokenize import word_tokenize  tokens = word_tokenize(input_str)  result = [i for i in tokens if not i in stop_words]  print (result)

輸出：

[‘NLTK’, ‘leading’, ‘platform’, ‘building’, ‘Python’, ‘programs’, ‘work’, ‘human’, ‘language’, ‘data’, ‘.’]

此外，scikit-learn 也提供了一個(gè)用于處理終止詞的工具： 

from sklearn.feature_extraction.stop_words import ENGLISH_STOP_WORDS

同樣，spaCy 也有一個(gè)類(lèi)似的處理工具：

from spacy.lang.en.stop_words import STOP_WORDS

刪除文本中出現(xiàn)的稀疏詞和特定詞

在某些情況下，有必要?jiǎng)h除文本中出現(xiàn)的一些稀疏術(shù)語(yǔ)或特定詞?？紤]到任何單詞都可以被認(rèn)為是一組終止詞，因此可以通過(guò)終止詞刪除工具來(lái)實(shí)現(xiàn)這一目標(biāo)。

詞干提?。⊿temming）

詞干提取是一個(gè)將詞語(yǔ)簡(jiǎn)化為詞干、詞根或詞形的過(guò)程（如 books-book，looked-look）。當(dāng)前主流的兩種算法是 Porter stemming 算法（刪除單詞中刪除常見(jiàn)的形態(tài)和拐點(diǎn)結(jié)尾） 和 Lancaster stemming 算法。

示例 8：使用 NLYK 實(shí)現(xiàn)詞干提取

實(shí)現(xiàn)代碼：

from nltk.stem import PorterStemmer  from nltk.tokenize import word_tokenize  stemmer= PorterStemmer()  input_str=”There are several types of stemming algorithms.”  input_str=word_tokenize(input_str) for word in input_str:      print(stemmer.stem(word))

輸出：

There are sever type of stem algorithm.

詞形還原（Lemmatization）

詞形還原的目的，如詞干過(guò)程，是將單詞的不同形式還原到一個(gè)常見(jiàn)的基礎(chǔ)形式。與詞干提取過(guò)程相反，詞形還原并不是簡(jiǎn)單地對(duì)單詞進(jìn)行切斷或變形，而是通過(guò)使用詞匯知識(shí)庫(kù)來(lái)獲得正確的單詞形式。

當(dāng)前常用的詞形還原工具庫(kù)包括： NLTK（WordNet Lemmatizer），spaCy，TextBlob，Pattern，gensim，Stanford CoreNLP，基于內(nèi)存的淺層解析器（MBSP），Apache OpenNLP，Apache Lucene，文本工程通用架構(gòu)（GATE），Illinois Lemmatizer 和 DKPro Core。

示例 9：使用 NLYK 實(shí)現(xiàn)詞形還原

實(shí)現(xiàn)代碼：   

from nltk.stem import WordNetLemmatizer  from nltk.tokenize import word_tokenize  lemmatizer=WordNetLemmatizer()  input_str=”been had done languages cities mice”  input_str=word_tokenize(input_str)  for word in input_str:      print(lemmatizer.lemmatize(word))

輸出：

be have do language city mouse

詞性標(biāo)注（POS）

詞性標(biāo)注旨在基于詞語(yǔ)的定義和上下文意義，為給定文本中的每個(gè)單詞（如名詞、動(dòng)詞、形容詞和其他單詞） 分配詞性。當(dāng)前有許多包含 POS 標(biāo)記器的工具，包括 NLTK，spaCy，TextBlob，Pattern，Stanford CoreNLP，基于內(nèi)存的淺層分析器（MBSP），Apache OpenNLP，Apache Lucene，文本工程通用架構(gòu)（GATE），F(xiàn)reeLing，Illinois Part of Speech Tagger 和 DKPro Core。

示例 10：使用 TextBlob 實(shí)現(xiàn)詞性標(biāo)注

實(shí)現(xiàn)代碼：

input_str=”P(pán)arts of speech examples: an article, to write, interesting, easily, and, of”  from textblob import TextBlob  result = TextBlob(input_str)  print(result.tags)

輸出：

[(‘Parts’, u’NNS’), (‘of’, u’IN’), (‘speech’, u’NN’), (‘examples’, u’NNS’), (‘an’, u’DT’), (‘article’, u’NN’), (‘to’, u’TO’), (‘write’, u’VB’), (‘interesting’, u’VBG’), (‘easily’, u’RB’), (‘and’, u’CC’), (‘of’, u’IN’)]

詞語(yǔ)分塊（淺解析）

詞語(yǔ)分塊是一種識(shí)別句子中的組成部分（如名詞、動(dòng)詞、形容詞等），并將它們鏈接到具有不連續(xù)語(yǔ)法意義的高階單元（如名詞組或短語(yǔ)、動(dòng)詞組等） 的自然語(yǔ)言過(guò)程。常用的詞語(yǔ)分塊工具包括：NLTK，TreeTagger chunker，Apache OpenNLP，文本工程通用架構(gòu)（GATE），F(xiàn)reeLing。

示例 11：使用 NLYK 實(shí)現(xiàn)詞語(yǔ)分塊

第一步需要確定每個(gè)單詞的詞性。

實(shí)現(xiàn)代碼：

input_str=”A black television and a white stove were bought for the new apartment of John.”  from textblob import TextBlob  result = TextBlob(input_str)  print(result.tags)

輸出：

[(‘A’, u’DT’), (‘black’, u’JJ’), (‘television’, u’NN’), (‘and’, u’CC’), (‘a’, u’DT’), (‘white’, u’JJ’), (‘stove’, u’NN’), (‘were’, u’VBD’), (‘bought’, u’VBN’), (‘for’, u’IN’), (‘the’, u’DT’), (‘new’, u’JJ’), (‘apartment’, u’NN’), (‘of’, u’IN’), (‘John’, u’NNP’)]

第二部就是進(jìn)行詞語(yǔ)分塊

實(shí)現(xiàn)代碼：

reg_exp = “NP: {<DT>?<JJ>*<NN>}”  rp = nltk.RegexpParser(reg_exp)  result = rp.parse(result.tags)  print(result)

輸出：

(S (NP A/DT black/JJ television/NN) and/CC (NP a/DT white/JJ stove/NN) were/VBD bought/VBN for/IN (NP the/DT new/JJ apartment/NN)  of/IN John/NNP)

也可以通過(guò) result.draw(） 函數(shù)繪制句子樹(shù)結(jié)構(gòu)圖，如下圖所示。 

命名實(shí)體識(shí)別（Named Entity Recognition）

命名實(shí)體識(shí)別（NER） 旨在從文本中找到命名實(shí)體，并將它們劃分到事先預(yù)定義的類(lèi)別（人員、地點(diǎn)、組織、時(shí)間等）。

常見(jiàn)的命名實(shí)體識(shí)別工具如下表所示，包括：NLTK，spaCy，文本工程通用架構(gòu)（GATE） -- ANNIE，Apache OpenNLP，Stanford CoreNLP，DKPro核心，MITIE，Watson NLP，TextRazor，F(xiàn)reeLing 等。

示例 12：使用 TextBlob 實(shí)現(xiàn)詞性標(biāo)注

實(shí)現(xiàn)代碼：

from nltk import word_tokenize, pos_tag, ne_chunk  input_str = “Bill works for Apple so he went to Boston for a conference.”  print ne_chunk(pos_tag(word_tokenize(input_str)))

輸出：

(S (PERSON Bill/NNP) works/VBZ for/IN Apple/NNP so/IN he/PRP went/VBD to/TO (GPE Boston/NNP) for/IN a/DT conference/NN ./.)

共指解析 Coreference resolution（回指分辨率 anaphora resolution）

代詞和其他引用表達(dá)應(yīng)該與正確的個(gè)體聯(lián)系起來(lái)。Coreference resolution 在文本中指的是引用真實(shí)世界中的同一個(gè)實(shí)體。如在句子 “安德魯說(shuō)他會(huì)買(mǎi)車(chē)”中，代詞“他”指的是同一個(gè)人，即“安德魯”。常用的 Coreference resolution 工具如下表所示，包括 Stanford CoreNLP，spaCy，Open Calais，Apache OpenNLP 等。

搭配提?。–ollocation extraction）

搭配提取過(guò)程并不是單獨(dú)、偶然發(fā)生的，它是與單詞組合一同發(fā)生的過(guò)程。該過(guò)程的示例包括“打破規(guī)則 break the rules”，“空閑時(shí)間 free time”，“得出結(jié)論 draw a conclusion”，“記住 keep in mind”，“準(zhǔn)備好 get ready”等。

示例 13：使用 ICE 實(shí)現(xiàn)搭配提取

實(shí)現(xiàn)代碼：

input=[“he and Chazz duel with all keys on the line.”]  from ICE import CollocationExtractor  extractor = CollocationExtractor.with_collocation_pipeline(“T1” , bing_key = “Temp”,pos_check = False)  print(extractor.get_collocations_of_length(input, length = 3))

輸出：

[“on the line”]

關(guān)系提?。≧elationship extraction）

關(guān)系提取過(guò)程是指從非結(jié)構(gòu)化的數(shù)據(jù)源 （如原始文本）獲取結(jié)構(gòu)化的文本信息。嚴(yán)格來(lái)說(shuō)，它確定了命名實(shí)體（如人、組織、地點(diǎn)的實(shí)體） 之間的關(guān)系（如配偶、就業(yè)等關(guān)系）。例如，從“昨天與 Mark 和 Emily 結(jié)婚”這句話(huà)中，我們可以提取到的信息是 Mark 是 Emily 的丈夫。 

到此，關(guān)于“實(shí)用Python文本預(yù)處理代碼有哪些”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注億速云網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)?lái)更多實(shí)用的文章！