使用 Lucene怎么實(shí)現(xiàn)一個(gè)中文分詞器

這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)?lái)有關(guān)使用 Lucene怎么實(shí)現(xiàn)一個(gè)中文分詞器，文章內(nèi)容豐富且以專(zhuān)業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

1. 
   

1. 什么是中文分詞器

學(xué)過(guò)英文的都知道，英文是以單詞為單位的，單詞與單詞之間以空格或者逗號(hào)句號(hào)隔開(kāi)。

而中文的語(yǔ)義比較特殊，很難像英文那樣，一個(gè)漢字一個(gè)漢字來(lái)劃分。

所以需要一個(gè)能自動(dòng)識(shí)別中文語(yǔ)義的分詞器。

1. 
   

1. StandardAnalyzer：

2. Lucene自帶的中文分詞器

單字分詞：就是按照中文一個(gè)字一個(gè)字地進(jìn)行分詞。如：“我愛(ài)中國(guó)”，
效果：“我”、“愛(ài)”、“中”、“國(guó)”。

1. 
   

1. CJKAnalyzer

2. 
   

二分法分詞：按兩個(gè)字進(jìn)行切分。如：“我是中國(guó)人”，效果：“我是”、“是中”、“中國(guó)”“國(guó)人”。

上邊兩個(gè)分詞器無(wú)法滿足需求。

1. 
   

1. 使用中文分詞器IKAnalyzer

IKAnalyzer繼承Lucene的Analyzer抽象類(lèi)，使用IKAnalyzer和Lucene自帶的分析器方法一樣，將Analyzer測(cè)試代碼改為IKAnalyzer測(cè)試中文分詞效果。

如果使用中文分詞器ik-analyzer，就在索引和搜索程序中使用一致的分詞器ik-analyzer。

1. 
   

1. 使用luke測(cè)試IK中文分詞

2. 
   

（1）打開(kāi)Luke，不要指定Lucene目錄。否則看不到效果

（2）在分詞器欄，手動(dòng)輸入IkAnalyzer的全路徑

org.wltea.analyzer.lucene.IKAnalyzer

1. 
   

1. 改造代碼，使用IkAnalyzer做分詞器

2. 添加jar包

3. 
   

1. 
   

1. 
   

2. 修改分詞器代碼

3. 
   

1. 
   

1. 
   

2. 擴(kuò)展中文詞庫(kù)

3. 
   

拓展詞庫(kù)的作用：在分詞的過(guò)程中，保留定義的這些詞

1在src或其他source目錄下建立自己的拓展詞庫(kù)，mydict.dic文件，例如：

2在src或其他source目錄下建立自己的停用詞庫(kù)，ext_stopword.dic文件

停用詞的作用：在分詞的過(guò)程中，分詞器會(huì)忽略這些詞。

3在src或其他source目錄下建立IKAnalyzer.cfg.xml，內(nèi)容如下（注意路徑對(duì)應(yīng)）：

上述就是小編為大家分享的使用 Lucene怎么實(shí)現(xiàn)一個(gè)中文分詞器了，如果剛好有類(lèi)似的疑惑，不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道。