Linux中如何使用uniq命令

Linux常用命令 uniq 命令用于檢查及刪除文本文件中重復(fù)出現(xiàn)的行列，一般與 sort 命令結(jié)合使用。uniq 可檢查文本文件中重復(fù)出現(xiàn)的行列。

語(yǔ)法

uniq [-cdu][-f][-s][-w][--help][--version][輸入文件][輸出文件]

參數(shù)：

• -c或–count 在每列旁邊顯示該行重復(fù)出現(xiàn)的次數(shù)。
• -d或–repeated 僅顯示重復(fù)出現(xiàn)的行列。
• -f或–skip-fields= 忽略比較指定的欄位。
• -s或–skip-chars= 忽略比較指定的字符。
• -u或–unique 僅顯示出一次的行列。
• -w或–check-chars= 指定要比較的字符。
• –help 顯示幫助。
• –version 顯示版本信息。
• [輸入文件] 指定已排序好的文本文件。如果不指定此項(xiàng)，則從標(biāo)準(zhǔn)讀取數(shù)據(jù)；
• [輸出文件] 指定輸出的文件。如果不指定此選項(xiàng)，則將內(nèi)容顯示到標(biāo)準(zhǔn)輸出設(shè)備（顯示終端）。

實(shí)例

文件testfile中第 2、3、5、6、7、9行為相同的行，使用 uniq 命令刪除重復(fù)的行，可使用以下命令：

uniq testfile

testfile中的原有內(nèi)容為：

$ cat testfile      #原有內(nèi)容  test 30  test 30  test 30  
Hello 95  
Hello 95  
Hello 95  
Hello 95  
Linux 85  
Linux 85

使用uniq 命令刪除重復(fù)的行后，有如下輸出結(jié)果：

$ uniq testfile     #刪除重復(fù)行后的內(nèi)容  test 30  
Hello 95  
Linux 85

檢查文件并刪除文件中重復(fù)出現(xiàn)的行，并在行首顯示該行重復(fù)出現(xiàn)的次數(shù)。使用如下命令：

uniq -c testfile

結(jié)果輸出如下：

$ uniq -c testfile      #刪除重復(fù)行后的內(nèi)容  3 test 30             #前面的數(shù)字的意義為該行共出現(xiàn)了3次  4 Hello 95            #前面的數(shù)字的意義為該行共出現(xiàn)了4次  2 Linux 85            #前面的數(shù)字的意義為該行共出現(xiàn)了2次

當(dāng)重復(fù)的行并不相鄰時(shí)，uniq 命令是不起作用的，即若文件內(nèi)容為以下時(shí)，uniq 命令不起作用：

$ cat testfile1      # 原有內(nèi)容 test 30  
Hello 95  
Linux 85 test 30  
Hello 95  
Linux 85 test 30  
Hello 95  
Linux 85

這時(shí)我們就可以使用 sort：

$ sort  testfile1 | uniq
Hello 95  
Linux 85 test 30

統(tǒng)計(jì)各行在文件中出現(xiàn)的次數(shù)：

$ sort testfile1 | uniq -c
   3 Hello 95  
   3 Linux 85 
   3 test 30

在文件中找出重復(fù)的行：

$ sort testfile1 | uniq -d
Hello 95  
Linux 85 test 30