shell腳本多線程實(shí)現(xiàn)方式

shell腳本多線程實(shí)現(xiàn)
在使用shell 腳本時(shí)，碰到了順序執(zhí)行太慢的情況，因此考慮使用多線程方式，以提高效率。
具體做法是使用 &+wait 達(dá)到多線程的效果，下面請(qǐng)看對(duì)比。

1. 順序執(zhí)行
   執(zhí)行3次沒(méi)次等待4秒，共計(jì)耗時(shí)12秒
   代碼：
   #/bin/bash
   date
   for num in seq 1 3
   do
   {
   echo "sleep 4"
   sleep 4
   }
   done
   date
   結(jié)果：
   2019年 11月 20日 星期三 09:40:56 CST
   sleep 4
   sleep 4
   sleep 4
   2019年 11月 20日 星期三 09:41:08 CST

2. 使用 &+wait
   并行執(zhí)行，共計(jì)耗時(shí)4秒
   代碼：
   #/bin/bash
   date
   for num in seq 1 3
   do
   {
   echo "sleep 4"
   sleep 4
   }&
   done
   wait
   date
   結(jié)果：
   2019年 11月 20日 星期三 09:42:44 CST
   sleep 4
   sleep 4
   sleep 4
   2019年 11月 20日 星期三 09:42:48 CST

根據(jù)觀察可以發(fā)現(xiàn)&+wait形式會(huì)讓循環(huán)體內(nèi)的命令全部進(jìn)入后臺(tái)運(yùn)行，這樣當(dāng)處理大量事務(wù)時(shí)會(huì)有問(wèn)題，所以可以根據(jù)以下幾種方式實(shí)現(xiàn)控制每次開(kāi)啟的線程數(shù)量

1. 多層for 循環(huán)
   共計(jì)9次，發(fā)3個(gè)線程，等待4秒，共計(jì)耗時(shí)12秒
   代碼：
   #/bin/bash
   date
   for num2 in seq 1 3
   do
   {
   for num in seq 1 3
   do
   {
   echo "sleep 4"
   sleep 4
   }&
   done
   wait
   }
   done
   date
   結(jié)果：
   2019年 11月 20日 星期三 09:47:23 CST
   sleep 4
   sleep 4
   sleep 4
   sleep 4
   sleep 4
   sleep 4
   sleep 4
   sleep 4
   sleep 4
   2019年 11月 20日 星期三 09:47:35 CST

2. 使用xargs -P 并發(fā)
   共計(jì)9次，發(fā)3個(gè)線程，等待4秒，共計(jì)耗時(shí)12秒
   代碼：
   #/bin/bash

all_num=9
thread_num=3

date

seq 1 ${all_num} | xargs -n 1 -I {} -P ${thread_num} sh -c "sleep 4;echo {}"

date
結(jié)果：
2019年 11月 20日 星期三 09:51:03 CST
1
3
2
4
5
6
8
9
7
2019年 11月 20日 星期三 09:51:15 CST

以上就是我總結(jié)的shell 并行方式。還有使用GNU parallel命令實(shí)現(xiàn)并發(fā)的方式，因?yàn)闇y(cè)試環(huán)境沒(méi)有改命令，故沒(méi)做測(cè)試，待測(cè)試環(huán)境有之后會(huì)補(bǔ)全。