關(guān)于mongodb的journal日志工作方式分析
1、journal目錄結(jié)構(gòu)
- [root@gog /backup/mongo/data/journal]#ll
- total 3148816
- -rw
- -rw
- -rw
- -rw
j._2表示正在使用中的journal文件，當(dāng)單個(gè)文件達(dá)到1GB的時(shí)候，就會(huì)創(chuàng)建一個(gè)新的文件，舊文件不會(huì)循環(huán)使用，自動(dòng)刪除。lsn保存最后使用的journal序列號(hào)，是個(gè)2進(jìn)制文件,它實(shí)際保存的是系統(tǒng)啟動(dòng)到現(xiàn)在的一個(gè)時(shí)間戳。prealloc.2是還未使用的初始化的journal文件。使用db.shutdownServer()和kill -2關(guān)閉的系統(tǒng)，也就是clean shutdown，journal文件夾下除prealloc.*文件 都會(huì)被刪除。 如果系統(tǒng)掉電或者運(yùn)行時(shí)死機(jī)，再啟動(dòng)時(shí)，mongo就會(huì)使用journal進(jìn)行恢復(fù)，不用運(yùn)行repair。
2、journal刷新頻率
journal除了故障恢復(fù)的作用之外，還可以提高寫(xiě)入的性能，批量提交（batch-commit），journal一般默認(rèn)100ms刷新一次，在這個(gè)過(guò)程中，所有的寫(xiě)入都可以一次提交，是單事務(wù)的，全部成功或者全部失敗。
關(guān)于刷新時(shí)間，它是可以更改，范圍是2-300ms，但是這并不是絕對(duì)的。
mongodb提供了journal延遲測(cè)試的函數(shù)，
- > db.runCommand("journalLatencyTest")
- {
- "timeMillis" : {
- "8KB" : 19.74,
- "8KBWithPauses" : 20.31402,
- "1MB" : 25.2
- },
- "timeMillisWithPrealloc" : {
- "8KB" : 4.13,
- "8KBWithPauses" : 4.51596,
- "1MB" : 11.4
- },
- "onSamePartition" : true,
- "ok" : 1
- }
在實(shí)際運(yùn)行中，刷新時(shí)間是--journalCommitInterval設(shè)置和延遲測(cè)試中較大的一個(gè)。
三、總結(jié)：
mongodb在啟動(dòng)時(shí)，專(zhuān)門(mén)初始化一個(gè)線程不斷循環(huán)（除非應(yīng)用crash掉），用于在一定時(shí)間周期內(nèi)來(lái)從defer隊(duì)列中獲取要持久化的數(shù)據(jù)并寫(xiě)入到磁盤(pán)的journal(日志)和mongofile(數(shù)據(jù))處，當(dāng)然因?yàn)樗皇窃谟脩?hù)添加記錄時(shí)就寫(xiě)到磁盤(pán)上，所以它不會(huì)造成性能上的損耗，當(dāng)進(jìn)行數(shù)據(jù)插入操作時(shí)，記錄(Record類(lèi)型)都被放入到defer隊(duì)列中以供延時(shí)批量（groupcommit）提交寫(xiě)入，但相信其中時(shí)間周期參數(shù)是個(gè)要認(rèn)真考量的參數(shù)，系統(tǒng)為100毫秒，如果該值更低的話，可能會(huì)造成頻繁磁盤(pán)操作，過(guò)高又會(huì)造成系統(tǒng)宕機(jī)時(shí)數(shù)據(jù)丟失過(guò)多。
journal的刷新時(shí)間是可以改變的，2-300ms的范圍,使用 --journalCommitInterval 命令
查看journal運(yùn)行情況：
- "dur" : {
- "commits" : 25,
- "journaledMB" : 3.899392,
- "writeToDataFilesMB" : 38.269053,
- "compression" : 0.09879529488786379,
- "commitsInWriteLock" : 0,
- "earlyCommits" : 0,
- "timeMs" : {
- "dt" : 3131,
- "prepLogBuffer" : 47,
- "writeToJournal" : 349,
- "writeToDataFiles" : 43,
- "remapPrivateView" : 3
- }
- }
commits:在journalCommitInterval時(shí)間內(nèi)提交的操作數(shù)。
journaledMB：在journalCommitInterval時(shí)間內(nèi)寫(xiě)到j(luò)ournal文件中的數(shù)據(jù)量 。
writeToDataFilesMB：在journalCommitInterval時(shí)間內(nèi)從journal刷新到磁盤(pán)的數(shù)據(jù)量 。
compression：v>2.0，表示客戶(hù)端提交寫(xiě)入到j(luò)ournal的數(shù)據(jù)的壓縮比率，注意，寫(xiě)入到j(luò)ournal的數(shù)據(jù)并不是全部的數(shù)據(jù)。( journaled_size_of_data / uncompressed_size_of_data ) 。
commitsInWriteLock:在有寫(xiě)鎖的情況下提交的數(shù)量，這表示寫(xiě)的壓力很大。
earlyCommits：表示在journalCommitInterval之前的時(shí)間，mongod請(qǐng)求提交的次數(shù)。用這個(gè)參數(shù)確定journalCommitInterval是不是設(shè)置的過(guò)長(zhǎng)。
dur.timeMS.prepLogBuffer：從privateView映射到Logbuffer的時(shí)間。
dur.timeMS.writeToJournal：從logbuffer刷新到j(luò)ournalfile 的時(shí)間。
dur.timeMS.writeToDataFiles：從journalbuffer映射到MMF，然后從MMF刷新到磁盤(pán)的時(shí)間，文件系統(tǒng)和磁盤(pán)會(huì)影響寫(xiě)入性能。
dur.timeMS.remapPrivateView：重新映射數(shù)據(jù)到PrivateView的時(shí)間，越小性能越好
借鑒了http://www.cnblogs.com/daizhj/archive/2011/03/21/1990344.html這篇文章中對(duì)mongodb源碼的分析部分
官方文檔 http://docs.mongodb.org/manual/core/journaling/#journaling-internals
