Python jieba中文分詞與詞頻統(tǒng)計的操作案例

這篇文章給大家分享的是有關(guān)Python jieba中文分詞與詞頻統(tǒng)計的操作案例的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

Python主要用來做什么

Python主要應(yīng)用于：1、Web開發(fā)；2、數(shù)據(jù)科學(xué)研究；3、網(wǎng)絡(luò)爬蟲；4、嵌入式應(yīng)用開發(fā)；5、游戲開發(fā)；6、桌面應(yīng)用開發(fā)。

直接看代碼吧：

#! python3
# -*- coding: utf-8 -*-
import os, codecs
import jieba
from collections import Counter
 
def get_words(txt):
 seg_list = jieba.cut(txt)
 c = Counter()
 for x in seg_list:
  if len(x)>1 and x != '\r\n':
   c[x] += 1
 print('常用詞頻度統(tǒng)計結(jié)果')
 for (k,v) in c.most_common(100):
  print('%s%s %s %d' % (' '*(5-len(k)), k, '*'*int(v/3), v))
 
if __name__ == '__main__':
 with codecs.open('19d.txt', 'r', 'utf8') as f:
  txt = f.read()
 get_words(txt)

樣本：十九大報告全文

常用詞頻度統(tǒng)計結(jié)果
  發(fā)展 ********************************************************************** 212
  中國 ******************************************************** 168
  人民 **************************************************** 157
  建設(shè) ************************************************* 148
 社會主義 ************************************************ 146
  堅持 ******************************************* 130
  國家 ****************************** 90
  全面 ***************************** 88
  制度 *************************** 83
  實現(xiàn) *************************** 83
  推進(jìn) *************************** 81
  政治 ************************** 80
  社會 ************************** 80
  特色 ************************** 79
  加強 *********************** 71
  體系 ********************** 68
  文化 ********************** 66
  我們 ********************* 64
  時代 ********************* 63
  必須 ******************** 61
  經(jīng)濟(jì) ******************* 59
  偉大 ******************* 58
  完善 ***************** 51
  我國 **************** 50
  推動 *************** 47
 現(xiàn)代化 *************** 47
  安全 *************** 46
  更加 ************** 44
  民主 ************** 44

補充：jieba讀取txt文檔并進(jìn)行分詞、詞頻統(tǒng)計，輸出詞云圖

代碼實現(xiàn)

# 庫的引用
import jieba
import matplotlib as mpl
import matplotlib.pyplot as plt
from wordcloud import WordCloud
#定義一個空字符串
final = ""
#文件夾位置
filename = r"D:\python\pra\推薦系統(tǒng)1-500.txt"
 
#打開文件夾，讀取內(nèi)容，并進(jìn)行分詞
with open(filename,'r',encoding = 'utf-8') as f:
  for line in f.readlines():
    word = jieba.cut(line)
    for i in word:
      final = final + i +" "

運行結(jié)果

# 圖云打印
word_pic = WordCloud(font_path = r'C:\Windows\Fonts\simkai.ttf',width = 2000,height = 1000).generate(final)
plt.imshow(word_pic)
#去掉坐標(biāo)軸
plt.axis('off')
#保存圖片到相應(yīng)文件夾
plt.savefig(r'D:\python\pra\6.png')

圖云輸出圖

感謝各位的閱讀！關(guān)于“Python jieba中文分詞與詞頻統(tǒng)計的操作案例”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！