如何使用Hanlp加載大字典

這篇文章將為大家詳細(xì)講解有關(guān)如何使用Hanlp加載大字典，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

　問題

因?yàn)樾枰虞d一個(gè) 近 1G 的字典到Hanlp中，一開始使用了CustomDictionay.add() 方法來一條條的加載，果然到了中間，維護(hù)DoubleArraTre 的成本太高，添加一個(gè)節(jié)點(diǎn)，都會(huì)很長(zhǎng)時(shí)間，本來時(shí)間長(zhǎng)一點(diǎn)沒有關(guān)系，只要訓(xùn)練出.bin 的文件，第二次加載就會(huì)很快，然而作為以空間換時(shí)間的DAT結(jié)構(gòu)，內(nèi)存消耗很大，預(yù)料之內(nèi)的出現(xiàn)了

out of memory: heap size

1

的問題?！『髞韲L試直接加載了1G 的字典，顯然更不行。

思路

閱讀了Hanlp的　部分源碼，也請(qǐng)教了原作者一部分問題，　就打算從源碼入手。初步想法大概是將原始字典 

split 成多份，然后分別將多份的小字典 訓(xùn)練成 多個(gè)小的.bin 文件，再完整的加載到內(nèi)存中，基于的原則則是：加載兩個(gè)10M的字典的消耗比一個(gè)20M的要小。 

然后又優(yōu)化了一部分，現(xiàn)在加載一個(gè)大概1G的字典，占內(nèi)存約3g+ ，已經(jīng)可以使用了。

大概流程

修改　CustomDictionary.java　設(shè)置一個(gè) hashmap　或者 一個(gè) list 來存儲(chǔ)所有的小Dat

將所有的dat加載完，這里就不再區(qū)分主副字典了。

修改Segment.java里面的combineByCustomDictionary 函數(shù)，源碼中只有一個(gè)dat， 這里我們需要選擇我們?nèi)萜髦衅渲心骋粋€(gè)dat作為要匹配使用，之前使用的方案是，遍歷所有的dat，知道有了匹配，但是這樣缺陷很明顯，解決不了多個(gè)字典匹配同一個(gè)詞的字串的情況，這里我的考察方案是，字典中的同一個(gè)字開始的詞條映射到同一個(gè)文件，這樣不會(huì)出現(xiàn)字串問題了。

關(guān)于“如何使用Hanlp加載大字典”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。