使用linux的uniq命令去除文件中的重復(fù)行的方法

這篇文章主要介紹了使用linux的uniq命令去除文件中的重復(fù)行的方法，具有一定借鑒價(jià)值，需要的朋友可以參考下。下面就和我一起來(lái)看看吧。

uniq命令全稱是“unique”，中文釋義是“獨(dú)特的，唯一的”。該命令的作用是用來(lái)去除文本文件中連續(xù)的重復(fù)行，中間不能夾雜其他文本行。去除了重復(fù)的，保留的都是唯一的，也就是獨(dú)特的，唯一的了。

我們應(yīng)當(dāng)注意的是，它和sort的區(qū)別，sort只要有重復(fù)行，它就去除，而uniq重復(fù)行必須要連續(xù)，也可以用它忽略文件中的重復(fù)行。

語(yǔ)法格式：uniq [參數(shù)] [文件]

常用參數(shù)：

參考實(shí)例

刪除連續(xù)文件中連續(xù)的重復(fù)行：

[root@linuxcool ~]# cat testfile 
 test 30  
 test 30  
 test 30  
 Hello 95  
 Hello 95  
 Hello 95  
 Hello 95  
 Linux 85
 Linux 85
 [root@linuxcool ~]# uniq testfile 
 test 30  
 Hello 95  
 Linux 85

打印每行在文件中出現(xiàn)重復(fù)的次數(shù)：

[root@linuxcool ~]# uniq -c testfile 
       3 test 30  
       4 Hello 95  
       2 Linux 85

只顯示有重復(fù)的紀(jì)錄，且每個(gè)紀(jì)錄只出現(xiàn)一次：

[root@linuxcool ~]# uniq -d testfile 
 test 30  
 Hello 95  
 Linux 85

只顯示沒(méi)有重復(fù)的紀(jì)錄：

[root@linuxcool ~]# uniq -u testfile 
[root@linuxcool ~]# 

以上就是使用linux的uniq命令去除文件中的重復(fù)行的方法的詳細(xì)內(nèi)容了，看完之后是否有所收獲呢？如果想了解更多相關(guān)內(nèi)容，歡迎來(lái)億速云行業(yè)資訊！