您好,登錄后才能下訂單哦!
這篇文章主要介紹“如何使用CPU加速Linux命令執(zhí)行速度”的相關(guān)知識,小編通過實際案例向大家展示操作過程,操作方法簡單快捷,實用性強,希望這篇“如何使用CPU加速Linux命令執(zhí)行速度”文章能幫助大家解決問題。
在處理大數(shù)據(jù)的時候我們總會想著一些并行的操作來加速我們的操作,我們的cpu是多核多線程的,但是我們的有些命令卻是單線程的命令,不能夠進行并行的運算,如: grep、bzip2、wc、awk、sed等等,只能使用一個CPU內(nèi)核。要想讓Linux命令使用所有的CPU內(nèi)核,我們需要用到GNU Parallel命令。
bzip2是比gzip更好的壓縮工具,但它很慢!別折騰了,我們有辦法解決這問題。
以前的做法:
cat bigfile.bin | bzip2 --best > compressedfile.bz2
現(xiàn)在這樣:
cat bigfile.bin | parallel --pipe --recend '' -k bzip2 --best > compressedfile.bz2
尤其是針對bzip2,GNU parallel在多核CPU上是超級的快。你一不留神,它就執(zhí)行完成了。
如果你有一個非常大的文本文件,以前你可能會這樣:
grep pattern bigfile.txt
現(xiàn)在你可以這樣:
cat bigfile.txt | parallel --pipe grep 'pattern'
或者這樣:
cat bigfile.txt | parallel --block 10M --pipe grep 'pattern'
這第二種用法使用了block 10M參數(shù),這是說每個內(nèi)核處理1千萬行,你可以用這個參數(shù)來調(diào)整每個CUP內(nèi)核處理多少行數(shù)據(jù)。
下面是一個用awk命令計算一個非常大的數(shù)據(jù)文件的例子。
常規(guī)用法:
cat rands20M.txt | awk '{s+=$1} END {print s}'
現(xiàn)在這樣:
cat rands20M.txt | parallel --pipe awk \'{s+=\$1} END {print s}\' | awk '{s+=$1} END {print s}'
這個有點復(fù)雜:parallel命令中的–pipe參數(shù)將cat輸出分成多個塊分派給awk調(diào)用,形成了很多子計算操作。這些子計算經(jīng)過第二個管道進入了同一個awk命令,從而輸出最終結(jié)果。第一個awk有三個反斜杠,這是GNU parallel調(diào)用awk的需要。
想要最快的速度計算一個文件的行數(shù)嗎?
傳統(tǒng)做法:
wc -l bigfile.txt
現(xiàn)在你應(yīng)該這樣:
cat bigfile.txt | parallel --pipe wc -l | awk '{s+=$1} END {print s}'
非常的巧妙,先使用parallel命令mapping出大量的wc -l調(diào)用,形成子計算,最后通過管道發(fā)送給awk進行匯總。
想在一個巨大的文件里使用sed命令做大量的替換操作嗎?
常規(guī)做法:
sed s^old^new^g bigfile.txt
現(xiàn)在你可以:
cat bigfile.txt | parallel --pipe sed s^old^new^g
然后你可以使用管道把輸出存儲到指定的文件里。
關(guān)于“如何使用CPU加速Linux命令執(zhí)行速度”的內(nèi)容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識,可以關(guān)注億速云行業(yè)資訊頻道,小編每天都會為大家更新不同的知識點。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。