Lucene用法10個(gè)小結(jié)

1 lucene簡(jiǎn)介 
1.1 什么是lucene 
Lucene是一個(gè)全文搜索框架，而不是應(yīng)用產(chǎn)品。因此它并不像www.baidu.com 或者google Desktop那么拿來就能用，它只是提供了一種工具讓你能實(shí)現(xiàn)這些產(chǎn)品。 

1.2 lucene能做什么 
要回答這個(gè)問題，先要了解lucene的本質(zhì)。實(shí)際上lucene的功能很單一，說到底，就是你給它若干個(gè)字符串，然后它為你提供一個(gè)全文搜索服務(wù)，告訴你你要搜索的關(guān)鍵詞出現(xiàn)在哪里。知道了這個(gè)本質(zhì)，你就可以發(fā)揮想象做任何符合這個(gè)條件的事情了。你可以把站內(nèi)新聞都索引了，做個(gè)資料庫；你可以把一個(gè)數(shù)據(jù)庫表的若干個(gè)字段索引起來，那就不用再擔(dān)心因?yàn)椤?like%”而鎖表了；你也可以寫個(gè)自己的搜索引擎…… 

1.3 你該不該選擇lucene 
下面給出一些測(cè)試數(shù)據(jù)，如果你覺得可以接受，那么可以選擇。 
測(cè)試一：250萬記錄，300M左右文本，生成索引380M左右，800線程下平均處理時(shí)間300ms。 
測(cè)試二：37000記錄，索引數(shù)據(jù)庫中的兩個(gè)varchar字段，索引文件2.6M，800線程下平均處理時(shí)間1.5ms。 

2 lucene的工作方式 下載
lucene提供的服務(wù)實(shí)際包含兩部分：一入一出。所謂入是寫入，即將你提供的源（本質(zhì)是字符串）寫入索引或者將其從索引中刪除；所謂出是讀出，即向用戶提供全文搜索服務(wù)，讓用戶可以通過關(guān)鍵詞定位源。 

2.1寫入流程 
源字符串首先經(jīng)過analyzer處理，包括：分詞，分成一個(gè)個(gè)單詞；去除stopword（可選）。 
將源中需要的信息加入Document的各個(gè)Field中，并把需要索引的Field索引起來，把需要存儲(chǔ)的Field存儲(chǔ)起來。 
將索引寫入存儲(chǔ)器，存儲(chǔ)器可以是內(nèi)存或磁盤。 

2.2讀出流程 下載
用戶提供搜索關(guān)鍵詞，經(jīng)過analyzer處理。 
對(duì)處理后的關(guān)鍵詞搜索索引找出對(duì)應(yīng)的Document。 
用戶根據(jù)需要從找到的Document中提取需要的Field。 

3 一些需要知道的概念 
lucene用到一些概念，了解它們的含義，有利于下面的講解。 

3.1 analyzer 下載
Analyzer 是分析器，它的作用是把一個(gè)字符串按某種規(guī)則劃分成一個(gè)個(gè)詞語，并去除其中的無效詞語，這里說的無效詞語是指英文中的“of”、 “the”，中文中的 “的”、“地”等詞語，這些詞語在文章中大量出現(xiàn)，但是本身不包含什么關(guān)鍵信息，去掉有利于縮小索引文件、提高效率、提高命中率。 
分詞的規(guī)則千變?nèi)f化，但目的只有一個(gè)：按語義劃分。這點(diǎn)在英文中比較容易實(shí)現(xiàn)，因?yàn)橛⑽谋旧砭褪且詥卧~為單位的，已經(jīng)用空格分開；而中文則必須以某種方法將連成一片的句子劃分成一個(gè)個(gè)詞語。具體劃分方法下面再詳細(xì)介紹，這里只需了解分析器的概念即可。 

3.2 document 
用戶提供的源是一條條記錄，它們可以是文本文件、字符串或者數(shù)據(jù)庫表的一條記錄等等。一條記錄經(jīng)過索引之后，就是以一個(gè)Document的形式存儲(chǔ)在索引文件中的。用戶進(jìn)行搜索，也是以Document列表的形式返回。 

3.3 field 
一個(gè)Document可以包含多個(gè)信息域，例如一篇文章可以包含“標(biāo)題”、“正文”、“最后修改時(shí)間”等信息域，這些信息域就是通過Field在Document中存儲(chǔ)的。 
Field有兩個(gè)屬性可選：存儲(chǔ)和索引。通過存儲(chǔ)屬性你可以控制是否對(duì)這個(gè)Field進(jìn)行存儲(chǔ)；通過索引屬性你可以控制是否對(duì)該Field進(jìn)行索引。這看起來似乎有些廢話，事實(shí)上對(duì)這兩個(gè)屬性的正確組合很重要，下面舉例說明： 
還是以剛才的文章為例子，我們需要對(duì)標(biāo)題和正文進(jìn)行全文搜索，所以我們要把索引屬性設(shè)置為真，同時(shí)我們希望能直接從搜索結(jié)果中提取文章標(biāo)題，所以我們把標(biāo)題域的存儲(chǔ)屬性設(shè)置為真，但是由于正文域太大了，我們?yōu)榱丝s小索引文件大小，將正文域的存儲(chǔ)屬性設(shè)置為假，當(dāng)需要時(shí)再直接讀取文件；我們只是希望能從搜索解果中提取最后修改時(shí)間，不需要對(duì)它進(jìn)行搜索，所以我們把最后修改時(shí)間域的存儲(chǔ)屬性設(shè)置為真，索引屬性設(shè)置為假。上面的三個(gè)域涵蓋了兩個(gè)屬性的三種組合，還有一種全為假的沒有用到，事實(shí)上Field不允許你那么設(shè)置，因?yàn)榧炔淮鎯?chǔ)又不索引的域是沒有意義的。 

3.4 term 下載
term是搜索的最小單位，它表示文檔的一個(gè)詞語，term由兩部分組成：它表示的詞語和這個(gè)詞語所出現(xiàn)的field。 

3.5 tocken 
tocken是term的一次出現(xiàn)，它包含trem文本和相應(yīng)的起止偏移，以及一個(gè)類型字符串。一句話中可以出現(xiàn)多次相同的詞語，它們都用同一個(gè)term表示，但是用不同的tocken，每個(gè)tocken標(biāo)記該詞語出現(xiàn)的地方。 

3.6 segment 
添加索引時(shí)并不是每個(gè)document都馬上添加到同一個(gè)索引文件，它們首先被寫入到不同的小文件，然后再合并成一個(gè)大索引文件，這里每個(gè)小文件都是一個(gè)segment。 

4 lucene的結(jié)構(gòu) 
lucene包括core和sandbox兩部分，其中core是lucene穩(wěn)定的核心部分，sandbox包含了一些附加功能，例如highlighter、各種分析器。 
Lucene core有七個(gè)包：analysis，document，index，queryParser，search，store，util。 
4.1 analysis 
Analysis包含一些內(nèi)建的分析器，例如按空白字符分詞的WhitespaceAnalyzer，添加了stopwrod過濾的StopAnalyzer，最常用的StandardAnalyzer。 
4.2 document 
Document包含文檔的數(shù)據(jù)結(jié)構(gòu)，例如Document類定義了存儲(chǔ)文檔的數(shù)據(jù)結(jié)構(gòu)，F(xiàn)ield類定義了Document的一個(gè)域。 
4.3 index 
Index 包含了索引的讀寫類，例如對(duì)索引文件的segment進(jìn)行寫、合并、優(yōu)化的IndexWriter類和對(duì)索引進(jìn)行讀取和刪除操作的 IndexReader類，這里要注意的是不要被IndexReader這個(gè)名字誤導(dǎo)，以為它是索引文件的讀取類，實(shí)際上刪除索引也是由它完成， IndexWriter只關(guān)心如何將索引寫入一個(gè)個(gè)segment，并將它們合并優(yōu)化；IndexReader則關(guān)注索引文件中各個(gè)文檔的組織形式。 下載
4.4 queryParser 
QueryParser 包含了解析查詢語句的類，lucene的查詢語句和sql語句有點(diǎn)類似，有各種保留字，按照一定的語法可以組成各種查詢。 Lucene有很多種 Query類，它們都繼承自Query，執(zhí)行各種特殊的查詢，QueryParser的作用就是解析查詢語句，按順序調(diào)用各種 Query類查找出結(jié)果。 
4.5 search 
Search包含了從索引中搜索結(jié)果的各種類，例如剛才說的各種Query類，包括TermQuery、BooleanQuery等就在這個(gè)包里。 
4.6 store 
Store包含了索引的存儲(chǔ)類，例如Directory定義了索引文件的存儲(chǔ)結(jié)構(gòu)，F(xiàn)SDirectory為存儲(chǔ)在文件中的索引，RAMDirectory為存儲(chǔ)在內(nèi)存中的索引，MmapDirectory為使用內(nèi)存映射的索引。 
4.7 util 
Util包含一些公共工具類，例如時(shí)間和字符串之間的轉(zhuǎn)換工具。 

5 如何建索引 
5.1 最簡(jiǎn)單的能完成索引的代碼片斷 下載

IndexWriter writer = new IndexWriter(“/data/index/”, new StandardAnalyzer(), true); 
Document doc = new Document(); 
doc.add(new Field("title", "lucene introduction", Field.Store.YES, Field.Index.TOKENIZED)); 
doc.add(new Field("content", "lucene works well", Field.Store.YES, Field.Index.TOKENIZED)); 
writer.addDocument(doc); 
writer.optimize(); 
writer.close(); 

下面我們分析一下這段代碼。 下載
首先我們創(chuàng)建了一個(gè)writer，并指定存放索引的目錄為“/data/index”，使用的分析器為StandardAnalyzer，第三個(gè)參數(shù)說明如果已經(jīng)有索引文件在索引目錄下，我們將覆蓋它們。 
然后我們新建一個(gè)document。 
我們向document添加一個(gè)field，名字是“title”，內(nèi)容是“l(fā)ucene introduction”，對(duì)它進(jìn)行存儲(chǔ)并索引。 
再添加一個(gè)名字是“content”的field，內(nèi)容是“l(fā)ucene works well”，也是存儲(chǔ)并索引。 
然后我們將這個(gè)文檔添加到索引中，如果有多個(gè)文檔，可以重復(fù)上面的操作，創(chuàng)建document并添加。 
添加完所有document，我們對(duì)索引進(jìn)行優(yōu)化，優(yōu)化主要是將多個(gè)segment合并到一個(gè)，有利于提高索引速度。 
隨后將writer關(guān)閉，這點(diǎn)很重要。 

對(duì)，創(chuàng)建索引就這么簡(jiǎn)單！ 
當(dāng)然你可能修改上面的代碼獲得更具個(gè)性化的服務(wù)。