如何進(jìn)行Linux大文件重定向和管道的效率對(duì)比

# 命令1，管道導(dǎo)入shell> cat huge_dump.sql | mysql -uroot;

# 命令2，重定向?qū)雜hell> mysql -uroot 

大家先看一下上面二個(gè)命令，假如huge_dump.sql文件很大，然后猜測(cè)一下哪種導(dǎo)入方式效率會(huì)更高一些？

這個(gè)問(wèn)題挺有意思的，我的第一反應(yīng)是：

沒(méi)比較過(guò)，應(yīng)該是一樣的，一個(gè)是cat負(fù)責(zé)打開(kāi)文件，一個(gè)是bash

這種場(chǎng)景在MySQL運(yùn)維操作里面應(yīng)該比較多，所以就花了點(diǎn)時(shí)間做了個(gè)比較和原理上的分析：
我們先構(gòu)造場(chǎng)景：
首先準(zhǔn)備一個(gè)程序b.out來(lái)模擬mysql對(duì)數(shù)據(jù)的消耗：

int main(int argc, char *argv[])  while(fread(buf, sizeof(buf), 1, stdin) > 0);    return 0;}$  gcc  -o b.out b.c$ ls|./b.out

再來(lái)寫個(gè)systemtap腳本用來(lái)方便觀察程序的行為。

$ cat test.stpfunction should_log(){  return (execname() == "cat" ||      execname() == "b.out" ||      execname() == "bash") ;}probe syscall.open,      syscall.close,      syscall.read,      syscall.write,      syscall.pipe,      syscall.fork,      syscall.execve,      syscall.dup,      syscall.wait4{  if (!should_log()) next;  printf("%s -> %s\n", thread_indent(0), probefunc());}probe kernel.function("pipe_read"),      kernel.function("pipe_readv"),      kernel.function("pipe_write"),      kernel.function("pipe_writev"){  if (!should_log()) next;  printf("%s -> %s: file ino %d\n",  thread_indent(0), probefunc(), __file_ino($filp));}probe begin { println(":~") }

這個(gè)腳本重點(diǎn)觀察幾個(gè)系統(tǒng)調(diào)用的順序和pipe的讀寫情況，然后再準(zhǔn)備個(gè)419M的大文件huge_dump.sql,在我們幾十G內(nèi)存的機(jī)器很容易在內(nèi)存里放下：

$ sudo dd if=/dev/urandom of=huge_dump.sql bs=4096 count=102400102400+0 records in102400+0 records out419430400 bytes (419 MB) copied, 63.9886 seconds, 6.6 MB/s

因?yàn)檫@個(gè)文件是用bufferio寫的，所以它的內(nèi)容都cache在pagecahce內(nèi)存里面，不會(huì)涉及到磁盤。

好了，場(chǎng)景齊全了，我們接著來(lái)比較下二種情況下的速度，第一種管道：

# 第一種管道方式$ time (cat huge_dump.sql|./b.out)real    0m0.596suser    0m0.001ssys     0m0.919s# 第二種重定向方式$ time (./b.out 

從執(zhí)行時(shí)間數(shù)看出來(lái)速度有3倍左右的差別了，第二種明顯快很多。

是不是有點(diǎn)奇怪？好吧我們來(lái)從原來(lái)上面分析下，還是繼續(xù)用數(shù)據(jù)說(shuō)話：

這次準(zhǔn)備個(gè)很小的數(shù)據(jù)文件，方便觀察然后在一個(gè)窗口運(yùn)行stap

$ echo hello > huge_dump.sql$ sudo stap test.stp:~     0 bash(26570): -> sys_read     0 bash(26570): -> sys_read     0 bash(26570): -> sys_write     0 bash(26570): -> sys_read     0 bash(26570): -> sys_write     0 bash(26570): -> sys_close     0 bash(26570): -> sys_pipe     0 bash(26570): -> sys_pipe     0 bash(26570): -> do_fork     0 bash(26570): -> sys_close     0 bash(26570): -> sys_close     0 bash(26570): -> do_fork     0 bash(13775): -> sys_close     0 bash(13775): -> sys_read     0 bash(13775): -> pipe_read: file ino 20906911     0 bash(13775): -> pipe_readv: file ino 20906911     0 bash(13776): -> sys_close     0 bash(13776): -> sys_close     0 bash(13776): -> sys_close     0 bash(13776): -> do_execve     0 bash(26570): -> sys_close     0 bash(26570): -> sys_close     0 bash(26570): -> sys_close     0 bash(13775): -> sys_close     0 bash(26570): -> sys_wait4     0 bash(13775): -> sys_close     0 bash(13775): -> sys_close     0 b.out(13776): -> sys_close     0 b.out(13776): -> sys_close     0 bash(13775): -> do_execve     0 b.out(13776): -> sys_open     0 b.out(13776): -> sys_close     0 b.out(13776): -> sys_open     0 b.out(13776): -> sys_read     0 b.out(13776): -> sys_close     0 cat(13775): -> sys_close     0 cat(13775): -> sys_close     0 b.out(13776): -> sys_read     0 b.out(13776): -> pipe_read: file ino 20906910     0 b.out(13776): -> pipe_readv: file ino 20906910     0 cat(13775): -> sys_open     0 cat(13775): -> sys_close     0 cat(13775): -> sys_open     0 cat(13775): -> sys_read     0 cat(13775): -> sys_close     0 cat(13775): -> sys_open     0 cat(13775): -> sys_close     0 cat(13775): -> sys_open     0 cat(13775): -> sys_read     0 cat(13775): -> sys_write     0 cat(13775): -> pipe_write: file ino 20906910     0 cat(13775): -> pipe_writev: file ino 20906910     0 cat(13775): -> sys_read     0 b.out(13776): -> sys_read     0 b.out(13776): -> pipe_read: file ino 20906910     0 b.out(13776): -> pipe_readv: file ino 20906910     0 cat(13775): -> sys_close     0 cat(13775): -> sys_close     0 bash(26570): -> sys_wait4     0 bash(26570): -> sys_close     0 bash(26570): -> sys_wait4     0 bash(26570): -> sys_write

stap在收集數(shù)據(jù)了，我們?cè)诹硗庖粋€(gè)窗口運(yùn)行管道的情況：

$ cat huge_dump.sql|./b.out

我們從systemtap的日志可以看出:

1. bash fork了2個(gè)進(jìn)程。
2. 然后execve分別運(yùn)行cat 和 b.out進(jìn)程, 這二個(gè)進(jìn)程用pipe通信。
3. 數(shù)據(jù)從由cat從 huge_dump.sql讀出，寫到pipe,然后b.out從pipe讀出處理。

那么再看下命令2重定向的情況:

$ ./b.out  sys_read     0 bash(26570): -> sys_read     0 bash(26570): -> sys_write     0 bash(26570): -> sys_read     0 bash(26570): -> sys_write     0 bash(26570): -> sys_close     0 bash(26570): -> sys_pipe     0 bash(26570): -> do_fork     0 bash(28926): -> sys_close     0 bash(28926): -> sys_read     0 bash(28926): -> pipe_read: file ino 20920902     0 bash(28926): -> pipe_readv: file ino 20920902     0 bash(26570): -> sys_close     0 bash(26570): -> sys_close     0 bash(26570): -> sys_wait4     0 bash(28926): -> sys_close     0 bash(28926): -> sys_open     0 bash(28926): -> sys_close     0 bash(28926): -> do_execve     0 b.out(28926): -> sys_close     0 b.out(28926): -> sys_close     0 b.out(28926): -> sys_open     0 b.out(28926): -> sys_close     0 b.out(28926): -> sys_open     0 b.out(28926): -> sys_read     0 b.out(28926): -> sys_close     0 b.out(28926): -> sys_read     0 b.out(28926): -> sys_read     0 bash(26570): -> sys_wait4     0 bash(26570): -> sys_write     0 bash(26570): -> sys_read

1. bash fork了一個(gè)進(jìn)程，打開(kāi)數(shù)據(jù)文件。
2. 然后把文件句柄搞到0句柄上，這個(gè)進(jìn)程execve運(yùn)行b.out。
3. 然后b.out直接讀取數(shù)據(jù)。

現(xiàn)在就非常清楚為什么二種場(chǎng)景速度有3倍的差別：
命令1，管道方式： 讀二次，寫一次,外加一個(gè)進(jìn)程上下文切換。
命令2，重定向方式：只讀一次。