溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

怎么理解Linux虛擬文件系統(tǒng)

發(fā)布時間:2021-11-23 15:44:56 來源:億速云 閱讀:273 作者:iii 欄目:系統(tǒng)運維

本篇內容主要講解“怎么理解Linux虛擬文件系統(tǒng)”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實用性強。下面就讓小編來帶大家學習“怎么理解Linux虛擬文件系統(tǒng)”吧!

背景

有時會出現這樣的情況,磁盤空間顯示已經被占滿,但是在查看磁盤的具體文件占用情況時,發(fā)現磁盤仍然有很大的空余空間。

1.執(zhí)行df命令查看磁盤使用情況,發(fā)現磁盤已經滿了。

-bash-4.2$ df -Th  Filesystem     Type      Size  Used Avail Use% Mounted on  /dev/vda1      ext4       30G    30G 0      100% /  devtmpfs       devtmpfs  489M     0  489M   0% /dev  tmpfs          tmpfs     497M     0  497M   0% /dev/shm  tmpfs          tmpfs     497M   50M  447M  11% /run  tmpfs          tmpfs     497M     0  497M   0% /sys/fs/cgroup

2.執(zhí)行 du 命令查看各個目錄的磁盤占用情況,把各個目錄文件的大小相加,發(fā)現并沒有占滿磁盤,有10多G空間莫名失蹤。

-bash-4.2$ du -h --max-depth=1 /home16M /home/logs11G /home/serverdog11G /home

3.為何會出現這樣的情況呢?

因為雖然文件已被刪除,但是一些進程仍然打開這些文件,因此其占用的磁盤空間并沒有被釋放。執(zhí)行l(wèi)sof 命令顯示打開已刪除的文件。將有問題的進程重啟(或,清空),磁盤空間就會得到釋放。

-bash-4.2# lsof | grep deletemysqld     2470         mysql    4u      REG              253,1           0     523577 /var/tmp/ibfTeQFn (deleted)  mysqld     2470         mysql    5u      REG              253,1           0     523579 /var/tmp/ibaHcIdW (deleted)  mysqld     2470         mysql    6u      REG              253,1           0     523581 /var/tmp/ibLjiALu (deleted)  mysqld     2470         mysql    7u      REG              253,1           0     523585 /var/tmp/ibCFnzTB (deleted)  mysqld     2470         mysql   11u      REG              253,1

那么,Linux 的文件系統(tǒng),到底為什么這么設計呢?要了解這些,就要先弄清楚并不容易,下面將從一些基本概念入手,一步步將這些梳理清楚:

  •  什么是虛擬文件系統(tǒng)(VFS:virtual filesystem)?

  •  什么是通用文件模型?

  •  超級塊對象(superblock object)

  •  索引節(jié)點對象(inode object)

  •  文件對象(file object)

  •  目錄項對象(dentry object)

  •  文件的概念

  •  文件的表達

    •  內存表達

    •  磁盤表達

  •  目錄樹的構建

    •  軟鏈接 vs 硬鏈接

  •  文件 & 磁盤管理

    •  索引節(jié)點狀態(tài)

  •  文件 & 進程管理

    •  操作:

    •  打開&刪除

虛擬文件系統(tǒng)(virtual filesystem)

下圖顯示了 Linux 操作系統(tǒng)中負責文件管理的基本組件。上半區(qū)域為用戶模式,下半區(qū)域為內核模式。應用程序使用標準庫libc來訪問文件,庫將請求映射到系統(tǒng)調用,以便進入內核模式。

怎么理解Linux虛擬文件系統(tǒng)

所有與文件相關的操作的入口都是虛擬文件系統(tǒng)(VFS),而非特定的額文件系統(tǒng)(如Ext3、ReiserFS和NFS)。VFS 提供了系統(tǒng)庫和特定文件系統(tǒng)之間的接口。因此,VFS 不僅充當抽象層,而且實際上它提供了一個文件系統(tǒng)的基本實現,可以由不同的實現來使用和擴展。因此,要了解文件系統(tǒng)是如何工作的,就要先了解VFS 。

通用文件模型

VFS 的主要思想在于引入了一個通用文件模型(common file model)。通用文件模型由以下對象類型組成:

超級塊對象(superblock object)

  •  內存:文件系統(tǒng)安裝時創(chuàng)建,存放文件系統(tǒng)的有關信息

  •  磁盤:對應于存放在磁盤上的文件系統(tǒng)控制塊(filesystem control block)

索引節(jié)點對象(inode object)

  •  內存:訪問時創(chuàng)建,存放關于具體文件的一般信息(inode 結構)

  •  磁盤:對應于存放在磁盤上的文件控制塊(file control block)每個索引節(jié)點對象都有一個索引節(jié)點號,唯一地標識文件系統(tǒng)的文件

文件對象(file object) -內存:打開文件時創(chuàng)建,存放 打開文件 與進程之間進行交互的有關信息(file 結構) 打開文件信息,僅當進程訪問文件期間存在于內核內存中。

目錄項對象(dentry object)

  • 內存:目錄項一旦被讀入內存,VFS就會將其轉換成dentry 結構的目錄項對象

  •  磁盤:特定文件系統(tǒng)以特定的方式存儲在磁盤上

  •  存放目錄項(即,文件名稱)與對應文件進行鏈接的有關信息

目錄樹

綜合來說,Linux 的 根文件系統(tǒng)(system’s root filessystem) 是內核啟動mount的第一個文件系統(tǒng)。內核代碼映像文件保存在根文件系統(tǒng)中,而系統(tǒng)引導啟動程序會在根文件系統(tǒng)掛載之后,從中把一些基本的初始化腳本和服務等加載到內存中去運行(文件系統(tǒng)和內核是完全獨立的兩個部分)。其他文件系統(tǒng),則后續(xù)通過腳本或命令作為子文件系統(tǒng)安裝在已安裝文件系統(tǒng)的目錄上,最終形成整個目錄樹。

start_kernel     vfs_caches_init       mnt_init         init_rootfs     // 注冊rootfs文件系統(tǒng)        init_mount_tree // 掛載rootfs文件系統(tǒng)     …     rest_init     kernel_thread(kernel_init, NULL, CLONE_FS);

就單個文件系統(tǒng)而言,在文件系統(tǒng)安裝時,創(chuàng)建超級塊對象;沿樹查找文件時,總是首先從初識目錄的中查找匹配的目錄項,以便獲取相應的索引節(jié)點,然后讀取索引節(jié)點的目錄文件,轉化為dentry對象,再檢查匹配的目錄項,反復執(zhí)行以上過程,直至找到對應的文件的索引節(jié)點,并創(chuàng)建索引節(jié)點對象。

軟鏈接 vs 硬鏈接

軟鏈接是一個普通的文件,其中存放的是另外一個文件的路徑名。硬鏈接則指向同一個索引節(jié)點,硬鏈接數記錄在索引節(jié)點對象的 i_nlink 字段。當i_nlink字段為零時,說明沒有硬鏈接指向該文件。

文件 & 進程管理

下圖是一個簡單示例,說明進程是怎樣與文件進行交互。三個不同進程打開同一個文件,每個進程都有自己的文件對象,其中兩個進程使用同一個硬鏈接(每個硬鏈接對應一個目錄對象),兩個目錄項對象都指向同一個 索引節(jié)點對象。

怎么理解Linux虛擬文件系統(tǒng)

索引節(jié)點的數據又由兩部分組成:內存數據和磁盤數據。Linux 使用 Write back 作為索引節(jié)點的數據一致性策略。對于索引節(jié)點的數據,當文件被打開時,才會加載索引節(jié)點到內存;當不再被進程使用,則從內存踢出;如果中間有更新,則需要把數據寫回磁盤。

*  "in_use" - valid inode, i_count > 0, i_nlink > 0  *  "dirty"  - as "in_use" but also dirty  *  "unused" - valid inode, i_count = 0

索引節(jié)點是否仍在使用,是通過 open() 和 close() 操作建立和銷毀文件對象,文件對象通過索引節(jié)點提供的 iget 和 iput 更新索引節(jié)點的i_count字段,以完成使用計數。open 操作使得 i_count 加一, close 操作使得 i_count 減一。在 close 操作時判斷索引節(jié)點是否釋放,如果 i_count = 0,則意味著不再有進程引用,將會從內存釋放。

文件 & 磁盤管理

文件與磁盤管理聯(lián)系最緊密的操作,莫過于touch和rm操作,而尤以后者最為關鍵。通過strace(或 dtruss),查看 rm 的實際的系統(tǒng)調用

# dtruss rm tmp  ...  geteuid(0x0, 0x0, 0x0)       = 0 0  ioctl(0x0, 0x4004667A, 0x7FFEE06F09C4)       = 0 0  lstat64("tmp\0", 0x7FFEE06F0968, 0x0)        = 0 0  access("tmp\0", 0x2, 0x0)        = 0 0  unlink("tmp\0", 0x0, 0x0)        = 0 0

可以發(fā)現 rm 實際是通過 unlink 完成的。unlink代表刪除目錄項,以及減少其索引節(jié)點的計數。由通用文件模型可知,父目錄本身同樣是一個文件,也就意味著目錄項是其文件數據的一部分。刪除目錄項等價于從父目錄的文件中刪除數據,也就意味著首先要打開父目錄的文件。那么,刪除操作即可理解為:

  •  刪除命令(一個進程)使用 open 操作獲得父目錄文件對象

  •  通過 iget 增加 目錄文件的索引節(jié)點對象計數

  •  讀取目錄文件數據

    •  將目錄文件數據轉化為目錄項對象

    •  由于目錄項包含文件的索引節(jié)點,類似的,需要通過 iget 增加文件的索引節(jié)點對象計數

  •  刪除目錄的目錄項

  •  減少文件索引節(jié)點對象的硬鏈接計數i_nlink

  •  通過 iput 結束對文件索引節(jié)點對象的操作,使用計數 i_count 減一

    •  判斷i_count是否為零,如果為零,則釋放內存

    •  然后,判斷i_nlink是否為零,如果為零,則釋放磁盤空間

  •  通過 iput 結束對目錄索引節(jié)點對象的操作。

到此,相信大家對“怎么理解Linux虛擬文件系統(tǒng)”有了更深的了解,不妨來實際操作一番吧!這里是億速云網站,更多相關內容可以進入相關頻道進行查詢,關注我們,繼續(xù)學習!

向AI問一下細節(jié)

免責聲明:本站發(fā)布的內容(圖片、視頻和文字)以原創(chuàng)、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI