溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

MMAP文件加速讀寫小技巧是什么

發(fā)布時間:2022-01-18 14:31:26 來源:億速云 閱讀:173 作者:柒染 欄目:互聯網科技

MMAP文件加速讀寫小技巧是什么,很多新手對此不是很清楚,為了幫助大家解決這個難題,下面小編將為大家詳細講解,有這方面需求的人可以來學習下,希望你能有所收獲。

進程讀寫數據時除了使用read和write,還可以使用mmap進行文件映射,區(qū)別如下圖所示:

MMAP文件加速讀寫小技巧是什么

             

可以看到,磁盤文件加載到內存后,還需要執(zhí)行一次拷貝操作。

如果使用mmap,則是磁盤文件直接加載到用戶空間,也就是上圖中深黃色部分,進程可以通過指針直接操作文件。

粗看起來mmap少了一次拷貝,理論上比read要快。但是,調用mmap后并不會真實將文件加載到內存,因此在讀寫過程中(特別是大文件)會觸發(fā)大量中斷,導致性能降低,就算使用madvise調用加速參數都沒有用。這里提供一個小方法,對文件每一頁讀取一下首字節(jié):

MMAP文件加速讀寫小技巧是什么

上面的代碼我們使用兩個數據完全相同8M文件,看看執(zhí)行預加載和不執(zhí)行預加載后的表現:

MMAP文件加速讀寫小技巧是什么

可以看到執(zhí)行預加載調用速度明顯比不執(zhí)行要快。使用madvise加速有沒有效果呢?看一下:

MMAP文件加速讀寫小技巧是什么

沒有效果,還是執(zhí)行預加載調用速度明顯比不執(zhí)行要快。程序兩次讀文件時間略有偏差,是因為cpu與內存本身的電氣特性。

魯棒性

當使用mmap進行共享映射時,多個進程可以操作同一文件,典型場景就是使用vim編輯文件,然后使用cat查看文件,如下圖:

MMAP文件加速讀寫小技巧是什么

這個時候就有競爭場景了,進程1和2分別只能看見自己的私有虛擬地址,需要調用者自己實現鎖機制,詳情可以參考寫時拷貝機制。

看完上述內容是否對您有幫助呢?如果還想對相關知識有進一步的了解或閱讀更多相關文章,請關注億速云行業(yè)資訊頻道,感謝您對億速云的支持。

向AI問一下細節(jié)

免責聲明:本站發(fā)布的內容(圖片、視頻和文字)以原創(chuàng)、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI