Python基于詞頻排序如何實(shí)現(xiàn)快速挖掘關(guān)鍵詞

這篇文章主要介紹“Python基于詞頻排序如何實(shí)現(xiàn)快速挖掘關(guān)鍵詞”的相關(guān)知識，小編通過實(shí)際案例向大家展示操作過程，操作方法簡單快捷，實(shí)用性強(qiáng)，希望這篇“Python基于詞頻排序如何實(shí)現(xiàn)快速挖掘關(guān)鍵詞”文章能幫助大家解決問題。

一、所有的代碼

這是所有的代碼

from collections import defaultdict
import jieba.posseg as jp

with open('keyword.txt','r',encoding='utf-8') as file:
	keyword_list = file.read().split('\n')

not_flag = set(['w','x','y','z','un','m'])
not_word = set(['的','是','有','啊','呢','么','好'])

keyword_split = dict()
word_count = defaultdict(int)
for keyword in keyword_list:
	word_set = set()
	for word,flag in jp.cut(keyword):
		if flag in not_flag:
			continue
		if word in not_word:
			continue
		if word == 'pdf' or word == 'PDF':
			continue

		word_count[word] += 1
		word_set.add(word)

	keyword_split[keyword] = word_set

id_keyword_list = defaultdict(list)
id_count = defaultdict(int)
for keyword,word_set in keyword_split.items():
	word_sort = dict()
	for word in word_set:
		word_sort[word] = word_count[word]

	word_sort = sorted(word_sort.items(),key=lambda x:x[1],reverse=True)
	word_id = ','.join([word for word,count in word_sort[0:3]])

	id_keyword_list[word_id] += [keyword]
	id_count[word_id] += 1

result = []
id_count = sorted(id_count.items(),key=lambda x:x[1],reverse=True)
for word_id,count in id_count:
	if count < 3:
		continue
	for keyword in id_keyword_list[word_id]:
		result.append('%s\t%s' % (keyword,word_id))
	result.append('')

with open('result.txt','wb') as file:
	file.write('\n'.join(result).encode('utf-8'))

二、實(shí)現(xiàn)的效果

keyword.txt如下圖：

有50萬的關(guān)于pdf的關(guān)鍵詞數(shù)據(jù)

最后的輸出result.txt 就是將里面的含有關(guān)鍵詞相同的句子統(tǒng)一輸出出來：

這里會(huì)將一個(gè)句子的3個(gè)關(guān)鍵詞輸出出來 關(guān)鍵詞是根據(jù)詞頻排序的。

最后將所有關(guān)鍵詞一樣的句子組合在一起，就可以知道這些句子表達(dá)的意思大致一致

三、代碼解讀

keyword_list 是從keyword.txt讀取到的所有的句子

not_flag 是要排除的標(biāo)記，不統(tǒng)計(jì)這些標(biāo)記

not_word 是要排除的單詞，不統(tǒng)計(jì)這些單詞

keyword_split 是句子對應(yīng)到他的所有單詞的字典，key是句子，value是他的所有單詞的集合

word_count 是所有的拆分后的單詞的次數(shù)的字典，key是單詞，value是單詞出現(xiàn)的次數(shù)

id_keyword_list 是一個(gè)字典，它的key是一個(gè)字符串 value是列表

id_count 是一個(gè)字典，它的key是一個(gè)字符串，value是int

最后對id_count處理 將結(jié)果輸出出來

id_count = sorted(id_count.items(), key=lambda x: x[1], reverse=True)
for word_id, count in id_count:
    if count < 3:
        continue
    for keyword in id_keyword_list[word_id]:
        result.append('%s\t%s' % (keyword, word_id))
    result.append('')

關(guān)于“Python基于詞頻排序如何實(shí)現(xiàn)快速挖掘關(guān)鍵詞”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識，可以關(guān)注億速云行業(yè)資訊頻道，小編每天都會(huì)為大家更新不同的知識點(diǎn)。