溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

Spark中怎樣使用HanLP分詞

發(fā)布時(shí)間：2021-12-17 13:52:35 來(lái)源：億速云 閱讀：141 作者：柒染 欄目：大數(shù)據(jù)

Spark中怎樣使用HanLP分詞，很多新手對(duì)此不是很清楚，為了幫助大家解決這個(gè)難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來(lái)學(xué)習(xí)下，希望你能有所收獲。

1.將HanLP的data(包含詞典和模型)放到hdfs上，然后在項(xiàng)目配置文件hanlp.properties中配置root的路徑，比如： 

root=hdfs://localhost:9000/tmp/

2.實(shí)現(xiàn)com.hankcs.hanlp.corpus.io.IIOAdapter接口：

Spark中怎樣使用HanLP分詞

3.設(shè)置IoAdapter，創(chuàng)建分詞器：

Spark中怎樣使用HanLP分詞

然后，就可以在Spark的操作中使用segment進(jìn)行分詞了。

看完上述內(nèi)容是否對(duì)您有幫助呢？如果還想對(duì)相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章，請(qǐng)關(guān)注億速云行業(yè)資訊頻道，感謝您對(duì)億速云的支持。

向AI問(wèn)一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手