JAVA寫文件的基本流程以及page cache自動回寫機(jī)制的原理介紹

本篇內(nèi)容主要講解“JAVA寫文件的基本流程以及page cache自動回寫機(jī)制的原理介紹”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“JAVA寫文件的基本流程以及page cache自動回寫機(jī)制的原理介紹”吧!

JAVA寫文件的基本流程

在不使用堆外內(nèi)存的情況下，java在寫文件時，先將字節(jié)寫入JVM的堆內(nèi)內(nèi)存中；然后調(diào)用jvm的寫文件函數(shù)，將字節(jié)寫入jvm的堆外內(nèi)存中，jvm再調(diào)用系統(tǒng)內(nèi)核的寫文件函數(shù)，將字節(jié)寫入內(nèi)核的heap中；然后內(nèi)核將字節(jié)寫入page cache中，將page cache狀態(tài)改為dirty，根據(jù)page cache的回寫機(jī)制在合適的時機(jī)將字節(jié)寫入磁盤。

page cache 自動回寫機(jī)制

page cache的回寫時機(jī)由系統(tǒng)配置/etc/sysctl.conf 中的幾個參數(shù)決定，分別是：

• dirty_background_bytes

默認(rèn)值：0  表示不啟用

當(dāng)臟頁所占的內(nèi)存大小超過dirty_background_bytes時，內(nèi)核的pdflush線程會從后臺開始回寫臟頁，不會影響應(yīng)用程序的后序IO操作。

• dirty_background_ratio   

默認(rèn)值 ：10

參數(shù)意義：當(dāng)臟頁所占的百分比（相對于所有可用內(nèi)存，即空閑內(nèi)存頁+可回收內(nèi)存頁）達(dá)到dirty_background_ratio時內(nèi)核的pdflush線程從后臺開始回寫臟頁，不會影響應(yīng)用程序的后序IO操作。增大會使用更多內(nèi)存用于緩沖，可以提高系統(tǒng)的讀寫性能。當(dāng)需要持續(xù)、恒定的寫入場合時，應(yīng)該降低該數(shù)值。

注意：dirty_background_bytes參數(shù)和dirty_background_ratio參數(shù)是相對的，只能指定其中一個。當(dāng)其中一個參數(shù)文件被寫入時，會立即開始計算臟頁限制，并且會將另一個參數(shù)的值清零。

• dirty_bytes

默認(rèn)值：0  表示不啟用

當(dāng)臟頁所占的內(nèi)存數(shù)量達(dá)到dirty_bytes時，內(nèi)核將臟頁中的數(shù)據(jù)刷入磁盤并阻塞后序的IO操作。

 注意：dirty_bytes參數(shù)和dirty_ratio參數(shù)是相對的，只能指定其中一個。當(dāng)其中一個參數(shù)文件被寫入時，會立即開始計算臟頁限制，并且會將另一個參數(shù)的值清零

• dirty_ratio

默認(rèn)值：20

參數(shù)意義：當(dāng)臟頁所占的百分比（相對于所有可用內(nèi)存，即空閑內(nèi)存頁+可回收內(nèi)存頁）達(dá)到dirty_ratio時，內(nèi)核將臟頁中的數(shù)據(jù)刷入磁盤并阻塞后序的IO操作。

• dirty_background_ratio與dirty_ratio比較

dirty_ratio是屬于強(qiáng)制性的回寫,也就是說當(dāng)一個內(nèi)存區(qū)的臟頁達(dá)到這個比例時就會觸發(fā)內(nèi)核內(nèi)存管理把臟頁強(qiáng)制回寫的流程,但dirty_background_ratio是屬于軟性的行為,因為這是透過pdflush內(nèi)核線程進(jìn)行的流程,可以在后臺執(zhí)行對這些臟頁面回寫,并不會因此影響到當(dāng)下正在執(zhí)行中的過程。 所以看Linux內(nèi)核中預(yù)設(shè)的比例是臟頁達(dá)到5%的比例時就會先透過pdflush內(nèi)核線程進(jìn)行回寫,當(dāng)臟頁達(dá)到10%比例時,就等于是一個很嚴(yán)重的狀況,此時就會在平衡臟頁面流程中觸發(fā)強(qiáng)制的回寫,讓系統(tǒng)可以回復(fù)到原本預(yù)設(shè)合理的狀態(tài)。

• dirty_expire_centisecs

默認(rèn)值：3000

參數(shù)意義：用來指定臟數(shù)據(jù)能存活的時間。指定的值是按100算做一秒計算。只有當(dāng)超過這個值后，才會被內(nèi)核進(jìn)程pdflush寫到磁盤。

• dirty_writeback_centisecs

默認(rèn)值：500

參數(shù)意義：pdflush回寫的頻率，每次的喚醒的間隔，是以數(shù)字100算做1秒。如果將這項值設(shè)為500就相當(dāng)5秒喚醒pdflush進(jìn)程。如果將這項值設(shè)為0就表示完全禁止定期回寫數(shù)據(jù)。

• drop_caches

向/proc/sys/vm/drop_caches文件中寫入數(shù)值可以使內(nèi)核釋放page cache，dentries和inodes緩存所占的內(nèi)存。

  只釋放pagecache：

echo 1 > /proc/sys/vm/drop_caches

  只釋放dentries和inodes緩存：

echo 2 > /proc/sys/vm/drop_caches

  釋放pagecache、dentries和inodes緩存：

echo 3 > /proc/sys/vm/drop_caches

  這個操作不是破壞性操作，臟的對象（比如臟頁）不會被釋放，因此要首先運行sync命令。

注：這個只能是手動釋放

測試

采用javaBIO不斷向一個文件寫入數(shù)據(jù)，通過pcstat觀察page cache的大小。文件初始狀態(tài)：

[root@node01 ~]# ll test.txt && pcstat test.txt 
-rw-r--r--. 1 root root 0 Aug  1 19:58 test.txt
+----------+----------------+------------+-----------+---------+
| Name     | Size (bytes)   | Pages      | Cached    | Percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 0              | 0          | 0         |     NaN |
+----------+----------------+------------+-----------+---------+

dirty_background_bytes測試

將臟頁閾值設(shè)置為10MB，臟頁存活時間設(shè)置為5000s，當(dāng)臟頁大小不足10MB時，絕對不會被刷入磁盤，當(dāng)臟頁大小超過10MB,但是存活時間不超過5000s時，滿足dirty_background_bytes的條件，被刷入磁盤。

#修改系統(tǒng)配置
[root@node01 ~]# vi /etc/sysctl.conf
...
#便于測試，設(shè)為10485760  10mb 
vm.dirty_background_bytes = 10485760
#便于測試，設(shè)為104857600  100mb 
vm.dirty_bytes = 104857600
#便于測試，設(shè)為500000  5000s
vm.dirty_writeback_centisecs = 500000
#便于測試，設(shè)為30000 5min
vm.dirty_expire_centisecs = 30000
 
#加載系統(tǒng)配置
[root@node01 ~]# sysctl -p

當(dāng)page cache大小超過10mb前，停止寫入，關(guān)閉電源，重啟設(shè)備。

關(guān)機(jī)前page cache狀態(tài)及文件大小。

[root@node01 ~]# ll -h test.txt && pcstat test.txt 
-rw-r--r--. 1 root root 1.7K Aug  1 20:20 test.txt
+----------+----------------+------------+-----------+---------+
| Name     | Size (bytes)   | Pages      | Cached    | Percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 1660           | 1          | 1         | 100.000 |
+----------+----------------+------------+-----------+---------+

掐斷電源，重啟。（注意，這里不能按正常流程重啟電源）

重啟后page cache狀態(tài)及文件大小。

[root@node01 ~]# ll -h test.txt && pcstat test.txt 
-rw-r--r--. 1 root root 0 Aug  1 20:20 test.txt
+----------+----------------+------------+-----------+---------+
| Name     | Size (bytes)   | Pages      | Cached    | Percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 0              | 0          | 0         |     NaN |
+----------+----------------+------------+-----------+---------+

之前寫入的數(shù)據(jù)全部丟失，由于沒有達(dá)到后臺自動刷入磁盤的閾值（dirty_background_bytes），page cache內(nèi)的數(shù)據(jù)丟失。

當(dāng)page cache大小超過10mb后，停止寫入，關(guān)閉電源，重啟設(shè)備。

關(guān)機(jī)前page cache狀態(tài)及文件大小。

[root@node01 ~]# ll -h test.txt && pcstat test.txt 
-rw-r--r--. 1 root root 37M Aug  1 20:26 test.txt
+----------+----------------+------------+-----------+---------+
| Name     | Size (bytes)   | Pages      | Cached    | Percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 37985420       | 9274       | 9274      | 100.000 |
+----------+----------------+------------+-----------+---------+

掐斷電源，重啟。（注意，這里不能按正常流程重啟電源）

重啟后page cache狀態(tài)及文件大小。

[root@node01 ~]#  ll -h test.txt && pcstat test.txt 
-rw-r--r--. 1 root root 30M Aug  1 20:26 test.txt
+----------+----------------+------------+-----------+---------+
| Name     | Size (bytes)   | Pages      | Cached    | Percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 31035392       | 7577       | 0         | 000.000 |
+----------+----------------+------------+-----------+---------+

之前寫入的數(shù)據(jù)部分丟失，每次達(dá)到后臺自動刷入磁盤的閾值（dirty_background_bytes）時內(nèi)核都會進(jìn)行一次刷入操作，而沒有達(dá)到閾值的部分就會丟失。關(guān)機(jī)前37M，關(guān)機(jī)后30M，自動刷入閾值設(shè)置為10M，37-10=7M，這7M數(shù)據(jù)沒有被刷入磁盤，重啟后丟失。

dirty_expire_centisecs測試

將臟頁閾值設(shè)置為100MB，檢測頻率設(shè)置為1s，臟頁存活時間設(shè)置為15s。這樣可以達(dá)到這樣一個測試目的，當(dāng)我的page cache大小未到達(dá)100MB時，由于超過了存活時間15s,檢測的又很及時，幾乎可以被全部刷入磁盤。為什么說幾乎呢？因為不管怎么樣，靠檢測頻率自動刷入機(jī)制終究會丟失檢測真空期的數(shù)據(jù)。臟頁在每次刷入磁盤后重寫前都是干凈的狀態(tài)。

#修改系統(tǒng)配置
[root@node01 ~]# vi /etc/sysctl.conf
...
#便于測試，設(shè)為104857600  100mb 
vm.dirty_background_bytes = 104857600
#便于測試，設(shè)為104857600  100mb 
vm.dirty_bytes = 104857600
#便于測試，設(shè)為1500  15s
vm.dirty_writeback_centisecs = 1500
#便于測試，設(shè)為100 1s
vm.dirty_expire_centisecs = 100
 
#加載系統(tǒng)配置
[root@node01 ~]# sysctl -p

當(dāng)page cache大小超過100mb前，停止寫入,未超過15s，關(guān)閉電源，重啟設(shè)備。

關(guān)機(jī)前page cache狀態(tài)及文件大小。

-rw-r--r--. 1 root root 150 Aug  1 20:44 test.txt
+----------+----------------+------------+-----------+---------+
| Name     | Size (bytes)   | Pages      | Cached    | Percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 150            | 1          | 1         | 100.000 |
+----------+----------------+------------+-----------+---------+

掐斷電源，重啟。（注意，這里不能按正常流程重啟電源）

重啟后page cache狀態(tài)及文件大小。

[root@node01 ~]# ll -h test.txt && pcstat test.txt 
-rw-r--r--. 1 root root 0 Aug  1 20:44 test.txt
+----------+----------------+------------+-----------+---------+
| Name     | Size (bytes)   | Pages      | Cached    | Percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 0              | 0          | 0         |     NaN |
+----------+----------------+------------+-----------+---------+

之前寫入的數(shù)據(jù)全部丟失，由于沒有超過臟頁存活時間，page cache內(nèi)的數(shù)據(jù)丟失。

當(dāng)page cache存活超過15s后，關(guān)閉電源，重啟設(shè)備。

關(guān)機(jī)前page cache狀態(tài)及文件大小。

[root@node01 ~]# ll -h test.txt && pcstat test.txt 
-rw-r--r--. 1 root root 1.7K Aug  1 20:48 test.txt
+----------+----------------+------------+-----------+---------+
| Name     | Size (bytes)   | Pages      | Cached    | Percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 1680           | 1          | 1         | 100.000 |
+----------+----------------+------------+-----------+---------+

掐斷電源，重啟。（注意，這里不能按正常流程重啟電源）

重啟后page cache狀態(tài)及文件大小。

[root@node01 ~]# ll -h test.txt && pcstat test.txt 
-rw-r--r--. 1 root root 1.7K Aug  1 20:48 test.txt
+----------+----------------+------------+-----------+---------+
| Name     | Size (bytes)   | Pages      | Cached    | Percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 1680           | 1          | 1         | 100.000 |
+----------+----------------+------------+-----------+---------+

超過15s且被檢測到的數(shù)據(jù)全部保留

dirty_writeback_centisecs測試

將臟頁閾值設(shè)置為100MB，檢測頻率設(shè)置為15s，臟頁存活時間設(shè)置為1s。這樣可以達(dá)到這樣一個測試目的，當(dāng)我的page cache大小未到達(dá)100MB時，且超過了存活時間1s,由于檢測的不及時，導(dǎo)致超過存活時間的數(shù)據(jù)還是沒有被刷入磁盤。

#修改系統(tǒng)配置
[root@node01 ~]# vi /etc/sysctl.conf
...
#便于測試，設(shè)為104857600  100mb 
vm.dirty_background_bytes = 104857600
#便于測試，設(shè)為104857600  100mb 
vm.dirty_bytes = 104857600
#便于測試，設(shè)為100  1s
vm.dirty_writeback_centisecs = 100
#便于測試，設(shè)為1500 15s
vm.dirty_expire_centisecs = 1500
 
#加載系統(tǒng)配置
[root@node01 ~]# sysctl -p

當(dāng)page cache大小超過100mb前，停止寫入,未超過15s，關(guān)閉電源，重啟設(shè)備。

關(guān)機(jī)前page cache狀態(tài)及文件大小。

[root@node01 ~]# ll -h test.txt && pcstat test.txt
-rw-r--r--. 1 root root 550 Aug  1 21:02 test.txt
+----------+----------------+------------+-----------+---------+
| Name     | Size (bytes)   | Pages      | Cached    | Percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 550            | 1          | 1         | 100.000 |
+----------+----------------+------------+-----------+---------+

掐斷電源，重啟。（注意，這里不能按正常流程重啟電源）

重啟后page cache狀態(tài)及文件大小。

[root@node01 ~]#  ll -h test.txt && pcstat test.txt
-rw-r--r--. 1 root root 0 Aug  1 21:04 test.txt
+----------+----------------+------------+-----------+---------+
| Name     | Size (bytes)   | Pages      | Cached    | Percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 0              | 0          | 0         |     NaN |
+----------+----------------+------------+-----------+---------+

之前寫入的數(shù)據(jù)全部丟失，雖然超過臟頁存活時間，但是沒有到檢測時間，page cache內(nèi)的數(shù)據(jù)丟失。

到此，相信大家對“JAVA寫文件的基本流程以及page cache自動回寫機(jī)制的原理介紹”有了更深的了解，不妨來實際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！