您好,登錄后才能下訂單哦!
如何解析hanlp源碼中文分詞算法,很多新手對(duì)此不是很清楚,為了幫助大家解決這個(gè)難題,下面小編將為大家詳細(xì)講解,有這方面需求的人可以來(lái)學(xué)習(xí)下,希望你能有所收獲。
解析hanlp源碼中文分詞算法。詞圖指的是句子中所有詞可能構(gòu)成的圖。如果一個(gè)詞 A的下一個(gè)詞可能是B的話(huà),那么A和B之間具有一條路徑E(A,B)。一個(gè)詞可能有多個(gè)后續(xù),同時(shí)也可能有多個(gè)前驅(qū),它們構(gòu)成的圖我稱(chēng)作詞圖。
需要稀疏 2維矩陣模型,以一個(gè)詞的起始位置作為行,終止位置作為列,可以得到一個(gè)二維矩陣。例如:“他說(shuō)的確實(shí)在理”這句話(huà)
圖詞的存儲(chǔ)方法: 一種是的 DynamicArray法,一種是快速offset法。Hanlp代碼中采用的是第二種方法。
1、DynamicArray(二維數(shù)組)法
在詞圖中,行和列的關(guān)系: col為n 的列中所有詞可以與row為n 的所有行中的詞進(jìn)行組合。例如“的確”這個(gè)詞,它的col =5,需要和它計(jì)算平滑值的有兩個(gè),分別是row =5的兩個(gè)詞:“實(shí)”和“實(shí)在”。但是在遍歷和插入的時(shí)候,需要一個(gè)個(gè)比較col和row的關(guān)系,復(fù)雜度是O(N)。
2、快速offset
一個(gè)一維數(shù)組,每個(gè)元素是一個(gè)單鏈表
“的確”的行號(hào)是4,長(zhǎng)度是2,4+2=6,于是第六行的兩個(gè)詞“實(shí)/實(shí)在”就是“的確”的后續(xù)。
同時(shí)這種方法速度非???,插入和查詢(xún)的時(shí)間都是 O(1)。
Hanlp核心詞典:
最短路徑算法 —viterbi(動(dòng)態(tài)規(guī)劃路徑)
Frequency:核心詞典中的詞頻
nTwoWordsFreq:共現(xiàn)詞頻
intMAX_FREQUENCY= 25146057
double dTemp =(double) 1 / MAX_FREQUENCY +0.00001
dSmoothingPara =0.1
Viterbi最短路徑有向圖
1、計(jì)算過(guò)程從上至下,根據(jù)計(jì)算出的權(quán)重值變更前驅(qū)結(jié)點(diǎn),保證前驅(qū)結(jié)點(diǎn)唯一(動(dòng)態(tài)規(guī)劃路徑)
2、計(jì)算結(jié)束后,從最后一個(gè)結(jié)點(diǎn)開(kāi)始取出term,依次取出該結(jié)點(diǎn)的前驅(qū)結(jié)點(diǎn)即可分詞結(jié)果:理,在,確實(shí),的,說(shuō),他
看完上述內(nèi)容是否對(duì)您有幫助呢?如果還想對(duì)相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章,請(qǐng)關(guān)注億速云行業(yè)資訊頻道,感謝您對(duì)億速云的支持。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀(guān)點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。