《從Lucene到Elasticsearch：全文檢索實(shí)戰(zhàn)》

? ? ? 今天我給大家講講倒排索引。

? ? ? 索引是構(gòu)成搜索引擎的核心技術(shù)之一，它在日常生活中是非常常見(jiàn)的，比如我看一本書(shū)的時(shí)候，我首先會(huì)看書(shū)的目錄，通過(guò)目錄可以快速定位到具體章節(jié)的頁(yè)碼，加快對(duì)內(nèi)容的查詢速度。

? ? ? 文檔通常保存在各種數(shù)據(jù)庫(kù)管理系統(tǒng)之中，比如mysql，oracle等，但是搜索引擎的數(shù)據(jù)不能保存在數(shù)據(jù)庫(kù)，主要原因有兩點(diǎn)：一是搜索引擎的數(shù)據(jù)量非常龐大，大型搜索引擎需要處理數(shù)以億計(jì)的網(wǎng)頁(yè)數(shù)據(jù)，面對(duì)海量數(shù)據(jù)數(shù)據(jù)庫(kù)很難管理。二是搜索引擎對(duì)數(shù)據(jù)的操作比較簡(jiǎn)單，一般的增刪改查就夠用了，而數(shù)據(jù)庫(kù)支持的數(shù)據(jù)庫(kù)操作是比較復(fù)雜的，犧牲了速度和空間，而搜索引擎要求響應(yīng)快，信息檢索效率高，在搜索引擎中主要使用倒排索引存儲(chǔ)網(wǎng)頁(yè)數(shù)據(jù)。?

? ? ? 倒排索引也叫反向索引，是一種索引方法，用來(lái)存儲(chǔ)在在全文搜索下某個(gè)單詞在一個(gè)文檔或者一組文檔中的存儲(chǔ)位置的映射，它是文檔檢索系統(tǒng)中最常用的數(shù)據(jù)結(jié)構(gòu)。

? ? ? 下面以通俗的例子解釋一下倒排索引，該例子取自于書(shū)中內(nèi)容：有兩個(gè)文檔doc1和doc2，doc包含中國(guó)、美國(guó)、韓國(guó)，doc2中包含4個(gè)關(guān)鍵詞：中國(guó)、美國(guó)、德國(guó)、英國(guó)，文檔和詞語(yǔ)的關(guān)系如下：

? ? ?詞語(yǔ)所屬的文檔關(guān)系如下：

?

? ??

? ? 參考下表，我們深入理解一下倒排索引，我們給每個(gè)文檔設(shè)置文檔ID

? ? ?

? ?對(duì)于文檔內(nèi)容，先要經(jīng)過(guò)詞條化處理。和英文不同的是，英語(yǔ)通過(guò)空格分隔單詞，中文的詞與詞之間沒(méi)有明確的分隔符號(hào)，經(jīng)過(guò)分詞系統(tǒng)進(jìn)行中文分詞以后把矩陣切分成一個(gè)個(gè)詞條，文檔4被分成“谷歌” “開(kāi)源” “機(jī)器” “學(xué)習(xí)” “工具” 5個(gè)詞項(xiàng)。谷歌這個(gè)詞在文檔2和文檔4中各出現(xiàn)一次，文檔頻率為2，倒排記錄表記作2->4,文檔頻率也是倒排記錄表的長(zhǎng)度。依次統(tǒng)計(jì)各個(gè)詞項(xiàng)的文檔頻率和倒排記錄表，構(gòu)建倒排索引過(guò)程如下：

詞項(xiàng) 文檔頻率 倒排記錄表

? ? ?