怎么在Python中利用Spacy進行分詞

本篇文章給大家分享的是有關怎么在Python中利用Spacy進行分詞，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

python是什么意思

Python是一種跨平臺的、具有解釋性、編譯性、互動性和面向?qū)ο蟮哪_本語言，其最初的設計是用于編寫自動化腳本，隨著版本的不斷更新和新功能的添加，常用于用于開發(fā)獨立的項目和大型項目。

1、說明

Spacy語言模型包含一些強大的文本分析功能，如詞性標記和命名實體識別。

導入spacy相關模塊后，需要加載中文處理包。然后讀小說數(shù)據(jù)，nlp處理天龍八部小說，包括分詞、定量、詞性標注、語法分析、命名實體識別，用符號/分隔小說。最后，通過is_stop函數(shù)判斷單詞中的單詞是否為無效單詞，刪除無效單詞后，將結(jié)果寫入txt文件。

2、實例

import spacy
import pandas as pd
import time
from spacy.lang.zh.stop_words import STOP_WORDS
 
nlp = spacy.load('zh_core_web_sm')
 
def fenci_stopwords(data,newdata1):
    fenci = []
    qc_stopwords =[]
 
    article = pd.read_table(data,encoding="utf-8")
    start1 = time.time()
    with open(newdata1,'w',encoding='utf-8') as f1:
        for i in article["天龍八部"]:#分詞
            doc = nlp(i)
            result1 = '/'.join([t.text for t in doc])
            fenci.append(result1)
 
  for j in fenci:#去除停用詞   
            words = nlp.vocab[j]    
            if words.is_stop == False:        
                qc_stopwords.append(j)
                result2 = '/'.join(qc_stopwords)
                f1.write(result2)
    end1 = time.time()
    return end1-start1

以上就是怎么在Python中利用Spacy進行分詞，小編相信有部分知識點可能是我們?nèi)粘９ぷ鲿姷交蛴玫降?。希望你能通過這篇文章學到更多知識。更多詳情敬請關注億速云行業(yè)資訊頻道。