Linux：保證數(shù)據(jù)安全落盤

在很多IO場景中，我們經(jīng)常需要確保數(shù)據(jù)已經(jīng)安全的寫到磁盤上，以便在系統(tǒng)宕機(jī)重啟之后還能讀到這些數(shù)據(jù)。但是我們都知道， linux系統(tǒng) 的IO路徑還是很復(fù)雜的，分為很多層，每一層都可能會有buffer來加速IO讀寫。同時，用戶態(tài)的應(yīng)用程序和庫函數(shù)也可能擁有自己的buffer，這又給IO路徑增加了一些復(fù)雜性?？梢?，要想保證數(shù)據(jù)安全的寫到磁盤上，并不是簡單調(diào)一個write/fwrite就可以搞定的。
那么要怎么做呢？很多人會想到很多辦法，比如：fflush()、fsync()、fdatasync()、sync()、open()使用O_DIRECT或O_SYNC標(biāo)志等。嗯，這些手段（或者某些組合）的確可以保證數(shù)據(jù)安全的持久化，那么它們之間有什么區(qū)別呢？fflush()和fsync()有啥區(qū)別？O_DIRECT是啥意思，它可以保證數(shù)據(jù)安全的持久化嗎？O_DIRECT和O_SYNC區(qū)別什么？O_SYNC和fsync()呢？fsync能完成msync的功能嗎？本文將試圖理解、解釋這些概念的作用和區(qū)別。

所謂一圖勝千言，為了解析清楚這些概念的區(qū)別，我特意畫了一張圖，仔細(xì)看，應(yīng)該可以清晰的看出它們的作用和區(qū)別。

這里重點說一下O_DIRECT和O_SYNC，首先要明確的是，O_DIRECT只是說數(shù)據(jù)不會經(jīng)過page cache（一般用在用戶態(tài)自己管理buffer）而是直接提交給塊設(shè)備層，但是不會同步等待數(shù)據(jù)安全寫入磁盤之后才返回（比如數(shù)據(jù)可能還在塊層排隊或者在磁盤自己的cache中）。而O_SYNC標(biāo)志，雖然數(shù)據(jù)還是會寫page cache，但是此時會采用write through的策略，并同步等待數(shù)據(jù)安全寫入磁盤后才會返回。因此如果同時使用O_DIRECT和O_SYNC，則表示數(shù)據(jù)不會經(jīng)過page cache并同步等待數(shù)據(jù)安全寫入磁盤才返回，當(dāng)然這樣IO的性能會非常低下。
由于O_DIRECT會bypass page cache，因此如果有另一個進(jìn)程使用普通的方式讀文件，有可能會出現(xiàn)數(shù)據(jù)不一致的現(xiàn)象，這個也需要注意。
為了做一下輔助說明，此處我貼一下我探討過程中看過的一些資料。首先是引用open系統(tǒng)調(diào)用：
http://man7.org/linux/man-pages/man2/open.2.html 
相關(guān)參數(shù)的說明：

以及innodb相關(guān)的文檔：
https://lwn.net/Articles/457667/

fsync和fdatasync的區(qū)別：
http://man7.org/linux/man-pages/man2/fsync.2.html

msync:
http://man7.org/linux/man-pages/man2/msync.2.html

其實還有一種IO模式，就是DAX（Direct Access ），是不是看上去和O_DIRECT很像。這種模式需要filesystem和block driver都支持才可以，一般主要用在non volatile memory上，本質(zhì)上也是繞過page cache直接操作設(shè)備。DAX本文先不做深入探討，后面我會自己寫一個支持DAX模式的ramdisk塊設(shè)備驅(qū)動，然后格式化為ext4文件系統(tǒng)并-o dax模式掛載，再來詳細(xì)研究DAX的IO路徑。
最后附上Linux在常見場景下的io路徑跟蹤：
https://my.oschina.net/fileoptions/blog/3061822