溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

基于hanlp的es分詞插件

發(fā)布時間：2020-08-10 04:47:05 來源：ITPUB博客 閱讀：192 作者：adnb34g 欄目：互聯(lián)網(wǎng)科技


摘要： elasticsearch是使用比較廣泛的分布式搜索引擎，es提供了一個的單字分詞工具，還有一個分詞插件ik使用比較廣泛，hanlp是一個自然語言處理包，能更好的根據(jù)上下文的語義，人名，地名，組織機構(gòu)名等來切分詞

Elasticsearch

默認分詞

  基于hanlp的es分詞插件

輸出：  

  基于hanlp的es分詞插件

IK分詞  

  基于hanlp的es分詞插件

輸出：  

  基于hanlp的es分詞插件

hanlp分詞

  基于hanlp的es分詞插件

輸出：

  基于hanlp的es分詞插件

ik分詞沒有根據(jù)句子的含義來分詞，hanlp能根據(jù)語義正確的切分出詞

安裝步驟：  

1、進入https://github.com/pengcong90/elasticsearch-analysis-hanlp，下載插件并解壓到es的plugins目錄下，修改analysis-hanlp目錄下的hanlp.properties文件，修改root的屬性，值為analysis－h(huán)anlp下的data

目錄的地址

2、修改es config目錄下的jvm.options文件，最后一行添加

-Djava.security.policy=../plugins/analysis-hanlp/plugin-security.policy

 

重啟 es

GET /_analyze?analyzer=hanlp-index&pretty=true

{

“text”:”張柏芝士蛋糕店”

}

測試是否安裝成功

analyzer有hanlp-index（索引模式）和hanlp-smart（智能模式）

自定義詞典

修改 plugins/analysis-hanlp/data/dictionary/custom下的 我的詞典.txt文件

格式遵從 [單詞] [詞性A] [A的頻次]

修改完后刪除同目錄下的 CustomDictionary.txt.bin文件

重啟 es服務(wù)

 


向AI問一下細節(jié)

免責聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手