如何使用parallel利用起你的所有CPU資源

這篇文章主要介紹了如何使用parallel利用起你的所有CPU資源，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

bash 命令通常單線程運(yùn)行。這意味著所有的處理工作只在單個(gè) CPU 上執(zhí)行。隨著 CPU 規(guī)模的擴(kuò)大以及核心數(shù)目的增加，這意味著只有一小部分的 CPU 資源用于處理你的工作。

當(dāng)我們的工作受制于 CPU 處理數(shù)據(jù)的速度時(shí)，這些未使用的 CPU 資源能產(chǎn)生很大的效用。這種情況在進(jìn)行多媒體轉(zhuǎn)換（比如圖片和視頻轉(zhuǎn)換）以及數(shù)據(jù)壓縮中經(jīng)常遇到。

本文中，我們將會使用 parallel 程序。parallel 會接受一個(gè)列表作為輸入，然后在所有 CPU 核上并行地執(zhí)行命令來處理該列表。Parallel 甚至?xí)错樞驅(qū)⒔Y(jié)果輸出到標(biāo)準(zhǔn)輸出中，因此它可以用在管道中作為其他命令的標(biāo)準(zhǔn)輸入。

如何使用 parallel

parallel 在標(biāo)準(zhǔn)輸入中讀取一個(gè)列表作為輸入，然后創(chuàng)建多個(gè)指定命令的進(jìn)程來處理這個(gè)列表，其格式為：

list | parallel command

這里的 list 可以由任何常見的 bash 命令創(chuàng)建，例如：cat、grep、find。這些命令的結(jié)果通過管道從它們的標(biāo)準(zhǔn)輸出傳遞到 parallel 的標(biāo)準(zhǔn)輸入，像這樣：

find . -type f -name "*.log" | parallel

跟 find 中使用 -exec 類似，parallel 使用 {} 來表示輸入列表中的每個(gè)元素。下面這個(gè)例子中，parallel 會使用 gzip 壓縮所有 find 命令輸出的文件：

find . -type f -name "*.log" | parallel gzip {}

下面這些實(shí)際的使用 parallel 的例子可能會更容易理解一些。

使用 parallel 來進(jìn)行 JPEG 壓縮

在這個(gè)例子中，我收集了一些比較大的 .jpg 文件（大約 10MB 大小），要用 Mozilla 出品的 JPEG 圖像壓縮工具 MozJPEG 來進(jìn)行處理。該工具會在嘗試保持圖像質(zhì)量的同時(shí)減少 JPEG 圖像文件的大小。這對降低網(wǎng)頁加載時(shí)間很重要。

下面是一個(gè)普通的 find 命令，用來找出當(dāng)前目錄中的所有 .jpg 文件，然后通過 MozJPEG 包中提供的圖像壓縮工具 （cjpeg） 對其進(jìn)行處理：

find . -type f -name "*.jpg" -exec cjpeg -outfile LoRes/{} {} ';'

總共耗時(shí) 0m44.114s。

雖然有 8 個(gè)核可用，但實(shí)際只有單個(gè)線程在用單個(gè)核。

下面用 parallel 來運(yùn)行相同的命令：

find . -type f -name "*.jpg" | parallel cjpeg -outfile LoRes/{} {}

這次壓縮所有圖像的時(shí)間縮減到了 0m10.814s。從 top 顯示中可以很清楚地看出不同：

所有 CPU 核都滿負(fù)荷運(yùn)行，有 8 個(gè)線程對應(yīng)使用 8 個(gè) CPU 核。

parallel 與 gzip 連用

如果你需要壓縮多個(gè)文件而不是一個(gè)大文件，那么 parallel 就能用來提高處理速度。如果你需要壓縮單個(gè)文件而同時(shí)又想要利用所有的 CPU 核的話，那么你應(yīng)該 gzip 的多線程替代品 pigz。

首先，我用隨機(jī)數(shù)據(jù)創(chuàng)建了 100 個(gè)大約 1GB 的文件：

for i in {1..100}; do dd if=/dev/urandom of=file-$i bs=1MB count=10; done

然而我用 find -exec 命令來進(jìn)行壓縮：

find . -type f -name "file*" -exec gzip {} ';'

總共耗時(shí) 0m28.028s，而且也是只利用了單核。

換成 parallel 版本：

find . -type f -name "file*" | parallel gzip {}

耗時(shí)減少到了 0m5.774s。

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“如何使用parallel利用起你的所有CPU資源”這篇文章對大家有幫助，同時(shí)也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識等著你來學(xué)習(xí)!