溫馨提示×

linux去掉重復行的方法有哪些

小億
240
2023-09-11 14:06:32
欄目: 智能運維

在Linux中，可以使用以下方法去掉重復行：

  1. 使用sort命令和uniq命令組合，sort命令可以對文件進行排序，uniq命令可以去掉重復行。示例命令如下：
sort file.txt | uniq > newfile.txt
  1. 使用awk命令，awk命令是一種文本處理工具，可以用來去掉重復行。示例命令如下：
awk '!seen[$0]++' file.txt > newfile.txt
  1. 使用sed命令，sed命令是一種流編輯器，可以用來去掉重復行。示例命令如下：
sed '$!N; /^\(.*\)\n\1$/!P; D' file.txt > newfile.txt
  1. 使用comm命令，comm命令用于比較兩個已排序的文件，并找出相同行、不同行和僅存在于一個文件中的行。示例命令如下：
comm -12 <(sort file.txt) <(sort file.txt) > newfile.txt

以上是一些常用的方法，可以根據(jù)具體情況選擇適合的方法。

0 踩