您好,登錄后才能下訂單哦!
這篇文章主要介紹java中文分詞之正向最大匹配法的示例分析,文中介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們一定要看完!
前言
基于詞典的正向最大匹配算法(最長詞優(yōu)先匹配),算法會根據(jù)詞典文件自動調(diào)整最大長度,分詞的好壞完全取決于詞典。
所謂詞典正向最大匹配就是將一段字符串進行分隔,其中分隔 的長度有限制,然后將分隔的子字符串與字典中的詞進行匹配,如果匹配成功則進行下一輪匹配,直到所有字符串處理完畢,否則將子字符串從末尾去除一個字,再進行匹配,如此反復(fù)。
算法流程圖如下:
下面給大家主要講一下中文分詞里面算法的簡單實現(xiàn),廢話不多說了,現(xiàn)在先上代碼
示例代碼
package com; import java.util.ArrayList; import java.util.List; public class Segmentation1 { private List<String> dictionary = new ArrayList<String>(); private String request = "北京大學(xué)生前來應(yīng)聘"; public void setDictionary() { dictionary.add("北京"); dictionary.add("北京大學(xué)"); dictionary.add("大學(xué)"); dictionary.add("大學(xué)生"); dictionary.add("生前"); dictionary.add("前來"); dictionary.add("應(yīng)聘"); } public String leftMax() { String response = ""; String s = ""; for(int i=0; i<request.length(); i++) { s += request.charAt(i); if(isIn(s, dictionary) && aheadCount(s, dictionary)==1) { response += (s + "/"); s = ""; } else if(aheadCount(s, dictionary) > 0) { } else { response += (s + "/"); s = ""; } } return response; } private boolean isIn(String s, List<String> list) { for(int i=0; i<list.size(); i++) { if(s.equals(list.get(i))) return true; } return false; } private int aheadCount(String s, List<String> list) { int count = 0; for(int i=0; i<list.size(); i++) { if((s.length()<=list.get(i).length()) && (s.equals(list.get(i).substring(0, s.length())))) count ++; } return count; } public static void main(String[] args) { Segmentation1 seg = new Segmentation1(); seg.setDictionary(); String response1 = seg.leftMax(); System.out.println(response1); } }
可以看到運行結(jié)果是:北京大學(xué)/生前/來/應(yīng)聘/
算法的核心就是從前往后搜索,然后找到最長的字典分詞。
以上是“java中文分詞之正向最大匹配法的示例分析”這篇文章的所有內(nèi)容,感謝各位的閱讀!希望分享的內(nèi)容對大家有幫助,更多相關(guān)知識,歡迎關(guān)注億速云行業(yè)資訊頻道!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。