溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》
您好，登錄后才能下訂單哦！
這篇文章主要介紹了linux中如何實現(xiàn)文本去重并統(tǒng)計重復(fù)次數(shù)，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。
linux命令行提供了非常強大的文本處理功能，組合利用linux命令能實現(xiàn)好多強大的功能。本文這里舉例說明如何利用Linux命令行進行文本按行去重并按重復(fù)次數(shù)排序。主要用到的命令有sort，uniq。其中，sort主要功能是排序，uniq主要功能是實現(xiàn)相鄰文本行的去重。
用于演示的測試文件test.txt 內(nèi)容如下：
Hello World. Apple and Nokia. Hello World. I wanna buy an Apple device. The Iphone of Apple company. Hello World. The Iphone of Apple company. My name is Friendfish. Hello World. Apple and Nokia.
命令如下：
$ sort test.txt | uniq -c | sort -rn 4 Hello World. 2 The Iphone of Apple company. 2 Apple and Nokia. 1 My name is Friendfish.
uniq命令加-c選項可以實現(xiàn)對重復(fù)次數(shù)進行統(tǒng)計，sort -n可以識別每行開頭的數(shù)字，并按其大小對文本行進行排序。默認是按升序排列，如果想要按降序要加-r選項(sort -rn)。
感謝你能夠認真閱讀完這篇文章，希望小編分享的“l(fā)inux中如何實現(xiàn)文本去重并統(tǒng)計重復(fù)次數(shù)”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識等著你來學(xué)習(xí)!
免責聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。
億速云公眾號
手機網(wǎng)站二維碼
