Python字典處理索引統(tǒng)計

Python字典處理索引統(tǒng)計？相信很多沒有經(jīng)驗的人對此束手無策，為此本文總結(jié)了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個問題。

索引引擎的基本工作原理便是倒排索引, 即將一個文檔所包含的文字反過來映射至文檔; 這方面算法并沒有太多花樣可言, 為了增加效率, 索引數(shù)據(jù)盡可往內(nèi)存里面搬。 

而基本思路舉個簡單例子, 現(xiàn)在有以下文檔 (分詞已經(jīng)完成) 以及其包含的關(guān)鍵詞：

doc_a: [word_w, word_x, word_y]
doc_b: [word_x, word_z]
doc_c: [word_y]

將其變換為

word_w -> [doc_a]
word_x -> [doc_a, doc_b]
word_y -> [doc_a, doc_c]
word_z -> [doc_b]

寫成 Python 代碼, 便是

doc_a = {'id': 'a', 'words': ['word_w', 'word_x', 'word_y']} 
doc_b = {'id': 'b', 'words': ['word_x', 'word_z']} 
doc_c = {'id': 'c', 'words': ['word_y']} 
  
docs = [doc_a, doc_b, doc_c] 
indices = dict() 
  
for doc in docs: 
  for word in doc['words']: 
    if word not in indices: 
      indices[word] = [] 
    indices[word].append(doc['id']) 
  
print indices

不過這里有個小技巧, 就是對于判斷當(dāng)前詞是否已經(jīng)在索引字典里的分支

if word not in indices: 
  indices[word] = []

可以被 dict 的 setdefault(key, default=None) 接口替換. 此接口的作用是, 如果 key 在字典里, 那么好說, 拿出對應(yīng)的值來; 否則, 新建此 key , 且設(shè)置默認對應(yīng)值為 default . 但從設(shè)計上來說, 我不明白為何 default 有個默認值 None , 看起來并無多大意義, 如果確要使用此接口, 大體都會自帶默認值吧, 如下

for doc in docs: 
  for word in doc['words']: 
    indices. setdefault(word, []) .append(doc['id'])

這樣就省掉分支了, 代碼看起來少很多.

不過在某些情況下, setdefault 用起來并不順手: 當(dāng) default 值構(gòu)造很復(fù)雜時, 或產(chǎn)生 default 值有副作用時, 以及一個之后會說到的情況; 前兩種情況一言以蔽之, 就是 setdefault 不適用于 default 需要惰性求值的場景. 換言之, 為了兼顧這種需求, setdefault 可能會設(shè)計成

def setdefault(self, key, default_factory): 
  if key not in self: 
    self[key] = default_factory() 
  return self[key]

倘若真如此, 那么上面的代碼應(yīng)改成

for doc in docs: 
  for word in doc['words']: 
    indices.setdefault(word, list ).append(doc['id'])

不過實際上有其它替代方案, 這個最后會提到.

如果說上面只是一個能預(yù)見但實際上可能根本不會遇到的 API 缺陷, 那么下面這個就略打臉了.

考慮現(xiàn)在要進行詞頻統(tǒng)計, 即一個詞在文章中出現(xiàn)了多少次, 如果直接拿 dict 來寫, 大致是

def word_count(words): 
  count = dict() 
  for word in words: 
    count.setdefault(word, 0) += 1
  return count 
  
print word_count(['hiiragi', 'kagami', 'hiiragi', 'tukasa', 'yosimizu', 'kagami'])

當(dāng)你興致勃勃地跑起上面代碼時, 代碼會以迅雷不及掩臉之勢把異常甩到你鼻尖上 --- 因為出現(xiàn)在 += 操作符左邊的 count.setdefault(word, 0) 在 Python 中不是一個左值. 怎樣, 現(xiàn)在開始念叨 C艸 類型體系的好了吧.

因為 Python 把默認的字面常量 {} 等價于 dict() 就認為 dict 是銀彈的思想是要不得的; Python 里面各種數(shù)據(jù)結(jié)構(gòu)不少, 解決統(tǒng)計問題, 理想的方案是 collections.defaultdict 這個類. 下面的代碼想必看一眼就明白

from collections import defaultdict 
  
doc_a = {'id': 'a', 'words': ['word_w', 'word_x', 'word_y']} 
doc_b = {'id': 'b', 'words': ['word_x', 'word_z']} 
doc_c = {'id': 'c', 'words': ['word_y']} 
  
docs = [doc_a, doc_b, doc_c] 
indices = defaultdict(list) 
  
for doc in docs: 
  for word in doc['words']: 
    indices[word].append(doc['id']) 
  
print indices 
  
def word_count(words): 
  count = defaultdict(int) 
  for word in words: 
    count[word] += 1
  return count 
  
print word_count(['hiiragi', 'kagami', 'hiiragi', 'tukasa', 'yosimizu', 'kagami'])

完滿解決了之前遇到的那些破事.

此外 collections 里還有個 Counter , 可以粗略認為它是 defaultdict(int) 的擴展.

看完上述內(nèi)容，你們掌握Python字典處理索引統(tǒng)計的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！