您好,登錄后才能下訂單哦!
本篇內(nèi)容主要講解“shell兩個(gè)文件去重的方式”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“shell兩個(gè)文件去重的方式”吧!
前言
大家都知道shell在文本處理上確有極大優(yōu)勢,比如多文本合并、去重等,但是最近遇到了一個(gè)難搞的問題,即兩個(gè)大數(shù)據(jù)量文件去重。下面來看看詳細(xì)的介紹吧。
要求
有txt文件A.txt和B.txt。
其中A為關(guān)鍵詞和搜索量,以逗號(hào)分隔,約90萬行。
B為關(guān)鍵詞,約400萬行。
需要從A中找出與B重復(fù)的關(guān)鍵詞。
我試了N種姿勢,但結(jié)果都不盡人意,最奇怪的是有些方法對(duì)小數(shù)據(jù)量的測試文件有用,一旦用在A與B上就會(huì)失敗,真叫人百思不得其解。
姿勢一:
awk -F, '{print $1}' A >keywords.txt cat keywords.txt B.txt | sort | uniq -d #先從A.txt種取出關(guān)鍵詞,然后與B.txt一起打開,用sort排序,uniq -d 取出重復(fù)的行
姿勢二:
awk -F, '{print $1}' A >keywords.txt #照例先取出關(guān)鍵詞 comm -1 -2 keywords.txt B.txt #利用comm命令,顯示兩個(gè)文件都存在的行
姿勢三:
awk -F, '{print $1}' A >keywords.txt for i in `cat keywords.txt` do A=`egrep -c "^$i$" B.txt` if [ $A != 0 ] then echo $i >>重復(fù)關(guān)鍵詞.txt fi done #這種姿勢就稍微復(fù)雜點(diǎn) #首先取出關(guān)鍵詞,然后利用for循環(huán)逐個(gè)去B.txt里面匹配(注意正則寫法^$i$),如果匹配到的結(jié)果數(shù)不為0,說明這個(gè)關(guān)鍵詞是重復(fù)的,然后輸出 #這種方法的優(yōu)點(diǎn)是穩(wěn)妥,缺點(diǎn)是效率太TM低了,90萬個(gè)詞逐一與400萬詞匹配,shell默認(rèn)又沒有多線程,耗時(shí)太長。
姿勢四:
awk -F, '{print $1}' A >keywords.txt cat keywords.txt B.txt | awk '!a[$1]++' #這個(gè)方法的原理其實(shí)我不太懂,awk命令實(shí)在太強(qiáng)大太高深了,但是這種方法又簡潔又快速
其實(shí)還有一種grep -v
、grep -f
的方法,但是我沒有試過,所以不在這里列出了。
到此,相信大家對(duì)“shell兩個(gè)文件去重的方式”有了更深的了解,不妨來實(shí)際操作一番吧!這里是億速云網(wǎng)站,更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢,關(guān)注我們,繼續(xù)學(xué)習(xí)!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請(qǐng)聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。