您好,登錄后才能下訂單哦!
這期內(nèi)容當(dāng)中小編將會給大家?guī)碛嘘P(guān)JAVA 如何實現(xiàn)大文本去除重復(fù)行,文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述,閱讀完這篇文章希望大家可以有所收獲。
去重復(fù)行,用SQL寫很簡單,就一句SELECT DISTINCT … FROM。但是文件上沒法直接用SQL了,想用SQL還得找個數(shù)據(jù)庫先建表,也很麻煩。如果是小文件,那用java對付一下也不太費(fèi)勁,大概這樣:
String file ="d:/urls.txt";
ArrayList<String> result = new ArrayList<String>();
BufferedReader br=null;
try{
br = new BufferedReader(new FileReader(file));
String row = br.readLine();
while(row!=null){
if(!result.contains(row)){
result.add(row);
}
row = br.readLine();
}
}finally{
if(br!=null)
try {
br.close();
} catch (IOException e) {
}
}
但如果是大文件,這代碼肯定崩了。這時候得用文件做緩存,或者先排序,總之都非常麻煩。
這種情況,如果有集算器就省事多了,用SPL只要一句話:
file("d:/urls.txt").cursor().groupx(#1).fetch()
甚至還可以直接對著文件寫SQL:
$select distinct #1 from d:/urls.txt
上述就是小編為大家分享的JAVA 如何實現(xiàn)大文本去除重復(fù)行了,如果剛好有類似的疑惑,不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識,歡迎關(guān)注億速云行業(yè)資訊頻道。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。