溫馨提示×
您好，登錄后才能下訂單哦！
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》
您好，登錄后才能下訂單哦！
這篇文章將為大家詳細(xì)講解有關(guān)Linux中怎么刪除文本中的重復(fù)行，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個(gè)參考，希望大家閱讀完這篇文章后對(duì)相關(guān)知識(shí)有一定的了解。
第一，用sort+uniq，注意，單純uniq是不行的。
shell> sort -k2n file | uniq
這里我做了個(gè)簡(jiǎn)單的測(cè)試，當(dāng)file中的重復(fù)行不再一起的時(shí)候，uniq將服務(wù)刪除所有的重復(fù)行。經(jīng)過排序后，所有相同的行都在相鄰，因此unqi可以正常刪除重復(fù)行。
第二，用sort+awk命令，注意，單純awk同樣不行，原因同上。
shell> sort -k2n file | awk '{if ($0!=line) print;line=$0}'
當(dāng)然，自己把管道后面的代碼重新設(shè)計(jì)一下，可能不需要sort命令先排序拉。
第三，用sort+sed命令，同樣需要sort命令先排序。
shell> sort -k2n file | sed '$!N; /^.∗\n\1$/!P; D'
最后附一個(gè)必須先用sort排序的文本的例子，當(dāng)然，這個(gè)需要用sort排序的原因是很簡(jiǎn)單，就是后面算法設(shè)計(jì)的時(shí)候的“局部性”，相同的行可能分散出現(xiàn)在不同的區(qū)域，一旦有新的相同行出現(xiàn)，那么前面的已經(jīng)出現(xiàn)的記錄就被覆蓋了，看了這個(gè)例子就好理解拉。
ffffffffffffffffff
ffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
fffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
eeeeeeeeeeeeeeeeeeee
gggggggggggggggggggg
關(guān)于Linux中怎么刪除文本中的重復(fù)行就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。
免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。
億速云公眾號(hào)
手機(jī)網(wǎng)站二維碼
