溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

Linux文件系統(tǒng)中ext4及更高版本的示例分析

發(fā)布時(shí)間:2021-07-14 11:43:40 來源:億速云 閱讀:123 作者:小新 欄目:服務(wù)器

這篇文章給大家分享的是有關(guān)Linux文件系統(tǒng)中ext4及更高版本的示例分析的內(nèi)容。小編覺得挺實(shí)用的,因此分享給大家做個(gè)參考,一起跟隨小編過來看看吧。

大多數(shù)現(xiàn)代Linux發(fā)行版默認(rèn)為ext 4文件系統(tǒng),就像以前的Linux發(fā)行版默認(rèn)為ext3、ext2,以及-如果追溯到足夠遠(yuǎn)的話-ext。
如果您是Linux新手或者是文件系統(tǒng)新手,您可能會(huì)想知道ext 4給表帶來了什么,而ext3卻沒有??紤]到諸如btrfs、XFS和ZFS等備用文件系統(tǒng)的新聞報(bào)道,您可能還想知道ext4是否還在積極開發(fā)中。
我們不能在一篇文章中涵蓋所有關(guān)于文件系統(tǒng)的內(nèi)容,但是我們將嘗試讓您了解Linux的默認(rèn)文件系統(tǒng)的歷史、它所處的位置以及所期待的內(nèi)容。
我大量地引用了各種ext文件系統(tǒng)文章以及我在編寫本概覽時(shí)的經(jīng)驗(yàn)。

ext 簡(jiǎn)史

MINIX 文件系統(tǒng)
在有 ext 之前,使用的是 MINIX 文件系統(tǒng)。如果你不熟悉 Linux 歷史,那么可以理解為 MINIX 是用于 IBM PC/AT 微型計(jì)算機(jī)的一個(gè)非常小的類 Unix 系統(tǒng)。Andrew Tannenbaum 為了教學(xué)的目的而開發(fā)了它,并于 1987 年發(fā)布了源代碼(以印刷版的格式?。?/p>

Linux文件系統(tǒng)中ext4及更高版本的示例分析

IBM 1980 中期的 PC/AT, MBlairMartin , CC BY-SA 4.0

雖然你可以細(xì)讀 MINIX 的源代碼,但實(shí)際上它并不是自由開源軟件(FOSS)。出版 Tannebaum 著作的出版商要求你花 69 美元的許可費(fèi)來運(yùn)行 MINIX,而這筆費(fèi)用包含在書籍的費(fèi)用中。盡管如此,在那時(shí)來說非常便宜,并且 MINIX 的使用得到迅速發(fā)展,很快超過了 Tannebaum 當(dāng)初使用它來教授操作系統(tǒng)編碼的意圖。在整個(gè)20 世紀(jì)90年代,你可以發(fā)現(xiàn) MINIX 的安裝在世界各個(gè)大學(xué)里面非常流行。而此時(shí),年輕的 Linus Torvalds 使用 MINIX 來開發(fā)原始 Linux 內(nèi)核,并于1991 年首次公布,而后在 1992 年 12 月在 GPL 開源協(xié)議下發(fā)布。
但是等等,這是一篇以 文件系統(tǒng) 為主題的文章不是嗎?是的,MINIX 有自己的文件系統(tǒng),早期的 Linux 版本依賴于它。跟 MINIX 一樣,Linux 的文件系統(tǒng)也如同玩具那般小 —— MINIX 文件系統(tǒng)最多能處理 14 個(gè)字符的文件名,并且只能處理 64MB 的存儲(chǔ)空間。到了 1991 年,一般的硬盤尺寸已經(jīng)達(dá)到了 40-140 MB。很顯然,Linux 需要一個(gè)更好的文件系統(tǒng)。

ext

當(dāng) Linus 開發(fā)出剛起步的 Linux 內(nèi)核時(shí),Rémy Card 從事第一代的 ext 文件系統(tǒng)的開發(fā)工作。ext 文件系統(tǒng)在 1992 年首次實(shí)現(xiàn)并發(fā)布 —— 僅在 Linux 首次發(fā)布后的一年!—— ext 解決了 MINIX 文件系統(tǒng)中最糟糕的問題。
1992 年的 ext 使用在 Linux 內(nèi)核中的新虛擬文件系統(tǒng)(VFS)抽象層。與之前的 MINIX 文件系統(tǒng)不同的是,ext 可以處理高達(dá) 2 GB 存儲(chǔ)空間并處理 255 個(gè)字符的文件名。
但 ext 并沒有長(zhǎng)時(shí)間占統(tǒng)治地位,主要是由于它原始的時(shí)間戳(每個(gè)文件僅有一個(gè)時(shí)間戳,而不是今天我們所熟悉的有 inode、最近文件訪問時(shí)間和最新文件修改時(shí)間的時(shí)間戳。)僅僅一年后,ext2 就替代了它。

ext2

Rémy 很快就意識(shí)到 ext 的局限性,所以一年后他設(shè)計(jì)出 ext2 替代它。當(dāng) ext 仍然根植于 “玩具” 操作系統(tǒng)時(shí),ext2 從一開始就被設(shè)計(jì)為一個(gè)商業(yè)級(jí)文件系統(tǒng),沿用 BSD 的 Berkeley 文件系統(tǒng)的設(shè)計(jì)原理。
ext2 提供了 GB 級(jí)別的最大文件大小和 TB 級(jí)別的文件系統(tǒng)大小,使其在 20 世紀(jì) 90 年代的地位牢牢鞏固在文件系統(tǒng)大聯(lián)盟中。很快它被廣泛地使用,無論是在 Linux 內(nèi)核中還是最終在 MINIX 中,且利用第三方模塊可以使其應(yīng)用于 MacOS 和 Windows。
但這里仍然有一些問題需要解決:ext2 文件系統(tǒng)與 20 世紀(jì) 90 年代的大多數(shù)文件系統(tǒng)一樣,如果在將數(shù)據(jù)寫入到磁盤的時(shí)候,系統(tǒng)發(fā)生崩潰或斷電,則容易發(fā)生災(zāi)難性的數(shù)據(jù)損壞。隨著時(shí)間的推移,由于碎片(單個(gè)文件存儲(chǔ)在多個(gè)位置,物理上其分散在旋轉(zhuǎn)的磁盤上),它們也遭受了嚴(yán)重的性能損失。
盡管存在這些問題,但今天 ext2 還是用在某些特殊的情況下 —— 最常見的是,作為便攜式 USB 驅(qū)動(dòng)器的文件系統(tǒng)格式。

ext3

1998 年,在 ext2 被采用后的 6 年后,Stephen Tweedie 宣布他正在致力于改進(jìn) ext2。這成了 ext3,并于 2001 年 11 月在 2.4.15 內(nèi)核版本中被采用到 Linux 內(nèi)核主線中。

Linux文件系統(tǒng)中ext4及更高版本的示例分析

20 世紀(jì) 90 年代中期的 Packard Bell計(jì)算機(jī),Spacekid ,CC0

在大部分情況下,ext2 在 Linux 發(fā)行版中工作得很好,但像 FAT、FAT32、HFS 和當(dāng)時(shí)的其它文件系統(tǒng)一樣 —— 在斷電時(shí)容易發(fā)生災(zāi)難性的破壞。如果在將數(shù)據(jù)寫入文件系統(tǒng)時(shí)候發(fā)生斷電,則可能會(huì)將其留在所謂 不一致 的狀態(tài) —— 事情只完成一半而另一半未完成。這可能導(dǎo)致大量文件丟失或損壞,這些文件與正在保存的文件無關(guān)甚至導(dǎo)致整個(gè)文件系統(tǒng)無法卸載。
ext3 和 20 世紀(jì) 90 年代后期的其它文件系統(tǒng),如微軟的 NTFS,使用 日志 來解決這個(gè)問題。日志是磁盤上的一種特殊的分配區(qū)域,其寫入被存儲(chǔ)在事務(wù)中;如果該事務(wù)完成磁盤寫入,則日志中的數(shù)據(jù)將提交給文件系統(tǒng)自身。如果系統(tǒng)在該操作提交前崩潰,則重新啟動(dòng)的系統(tǒng)識(shí)別其為未完成的事務(wù)而將其進(jìn)行回滾,就像從未發(fā)生過一樣。這意味著正在處理的文件可能依然會(huì)丟失,但文件系統(tǒng) 本身 保持一致,且其它所有數(shù)據(jù)都是安全的。
在使用 ext3 文件系統(tǒng)的 Linux 內(nèi)核中實(shí)現(xiàn)了三個(gè)級(jí)別的日志記錄方式: 日記(journal)、 順序(ordered)和 回寫(writeback)。
日記 是最低風(fēng)險(xiǎn)模式,在將數(shù)據(jù)和元數(shù)據(jù)提交給文件系統(tǒng)之前將其寫入日志。這可以保證正在寫入的文件與整個(gè)文件系統(tǒng)的一致性,但其顯著降低了性能。
順序 是大多數(shù) Linux 發(fā)行版默認(rèn)模式;順序模式將元數(shù)據(jù)寫入日志而直接將數(shù)據(jù)提交到文件系統(tǒng)。顧名思義,這里的操作順序是固定的:首先,元數(shù)據(jù)提交到日志;其次,數(shù)據(jù)寫入文件系統(tǒng),然后才將日志中關(guān)聯(lián)的元數(shù)據(jù)更新到文件系統(tǒng)。這確保了在發(fā)生崩潰時(shí),那些與未完整寫入相關(guān)聯(lián)的元數(shù)據(jù)仍在日志中,且文件系統(tǒng)可以在回滾日志時(shí)清理那些不完整的寫入事務(wù)。在順序模式下,系統(tǒng)崩潰可能導(dǎo)致在崩潰期間文件的錯(cuò)誤被主動(dòng)寫入,但文件系統(tǒng)它本身 —— 以及未被主動(dòng)寫入的文件 —— 確保是安全的。
回寫 是第三種模式 —— 也是最不安全的日志模式。在回寫模式下,像順序模式一樣,元數(shù)據(jù)會(huì)被記錄到日志,但數(shù)據(jù)不會(huì)。與順序模式不同,元數(shù)據(jù)和數(shù)據(jù)都可以以任何有利于獲得最佳性能的順序?qū)懭搿_@可以顯著提高性能,但安全性低很多。盡管回寫模式仍然保證文件系統(tǒng)本身的安全性,但在崩潰或崩潰之前寫入的文件很容易丟失或損壞。
跟之前的 ext2 類似,ext3 使用 16 位內(nèi)部尋址。這意味著對(duì)于有著 4K 塊大小的 ext3 在最大規(guī)格為 16 TiB 的文件系統(tǒng)中可以處理的最大文件大小為 2 TiB。

ext4

Theodore Ts'o(是當(dāng)時(shí) ext3 主要開發(fā)人員)在 2006 年發(fā)表的 ext4,于兩年后在 2.6.28 內(nèi)核版本中被加入到了 Linux 主線。
Ts'o 將 ext4 描述為一個(gè)顯著擴(kuò)展 ext3 但仍然依賴于舊技術(shù)的臨時(shí)技術(shù)。他預(yù)計(jì) ext4 終將會(huì)被真正的下一代文件系統(tǒng)所取代。

Linux文件系統(tǒng)中ext4及更高版本的示例分析

Dell Precision 380 工作站, Lance Fisher , CC BY-SA 2.0

ext4 在功能上與 ext3 在功能上非常相似,但支持大文件系統(tǒng),提高了對(duì)碎片的抵抗力,有更高的性能以及更好的時(shí)間戳。

ext4 vs ext3

ext3 和 ext4 有一些非常明確的差別,在這里集中討論下。
向后兼容性
ext4 特地設(shè)計(jì)為盡可能地向后兼容 ext3。這不僅允許 ext3 文件系統(tǒng)原地升級(jí)到 ext4;也允許 ext4 驅(qū)動(dòng)程序以 ext3 模式自動(dòng)掛載 ext3 文件系統(tǒng),因此使它無需單獨(dú)維護(hù)兩個(gè)代碼庫。

大文件系統(tǒng)

ext3 文件系統(tǒng)使用 32 位尋址,這限制它僅支持 2 TiB 文件大小和 16 TiB 文件系統(tǒng)系統(tǒng)大小(這是假設(shè)在塊大小為 4 KiB 的情況下,一些 ext3 文件系統(tǒng)使用更小的塊大小,因此對(duì)其進(jìn)一步被限制)
ext4 使用 48 位的內(nèi)部尋址,理論上可以在文件系統(tǒng)上分配高達(dá) 16 TiB 大小的文件,其中文件系統(tǒng)大小最高可達(dá) 1000000 TiB(1 EiB)。在早期 ext4 的實(shí)現(xiàn)中有些用戶空間的程序仍然將其限制為最大大小為 16 TiB 的文件系統(tǒng),但截至 2011 年,e2fsprogs 已經(jīng)直接支持大于 16 TiB 大小的 ext4 文件系統(tǒng)。例如,紅帽企業(yè) Linux 在其合同上僅支持最高 50 TiB 的 ext4 文件系統(tǒng),并建議 ext4 卷不超過 100 TiB。

分配方式改進(jìn)

ext4 在將存儲(chǔ)塊寫入磁盤之前對(duì)存儲(chǔ)塊的分配方式進(jìn)行了大量改進(jìn),這可以顯著提高讀寫性能。

范圍區(qū)段

(extent)是一系列連續(xù)的物理塊 (最多達(dá) 128 MiB,假設(shè)塊大小為 4 KiB),可以一次性保留和尋址。使用區(qū)段可以減少給定文件所需的 inode 數(shù)量,并顯著減少碎片并提高寫入大文件時(shí)的性能。

多塊分配

ext3 為每一個(gè)新分配的塊調(diào)用一次塊分配器。當(dāng)多個(gè)寫入同時(shí)打開分配器時(shí),很容易導(dǎo)致嚴(yán)重的碎片。然而,ext4 使用延遲分配,這允許它合并寫入并更好地決定如何為尚未提交的寫入分配塊。

持久預(yù)分配

在為文件預(yù)分配磁盤空間時(shí),大部分文件系統(tǒng)必須在創(chuàng)建時(shí)將零寫入該文件的塊中。ext4 允許替代使用 fallocate(),它保證了空間的可用性(并試圖為它找到連續(xù)的空間),而不需要先寫入它。這顯著提高了寫入和將來讀取流和數(shù)據(jù)庫應(yīng)用程序的寫入數(shù)據(jù)的性能。

延遲分配

這是一個(gè)耐人尋味而有爭(zhēng)議性的功能。延遲分配允許 ext4 等待分配將寫入數(shù)據(jù)的實(shí)際塊,直到它準(zhǔn)備好將數(shù)據(jù)提交到磁盤。(相比之下,即使數(shù)據(jù)仍然在往寫入緩存中寫入,ext3 也會(huì)立即分配塊。)
當(dāng)緩存中的數(shù)據(jù)累積時(shí),延遲分配塊允許文件系統(tǒng)對(duì)如何分配塊做出更好的選擇,降低碎片(寫入,以及稍后的讀)并顯著提升性能。然而不幸的是,它 增加 了還沒有專門調(diào)用 fsync() 方法(當(dāng)程序員想確保數(shù)據(jù)完全刷新到磁盤時(shí))的程序的數(shù)據(jù)丟失的可能性。
假設(shè)一個(gè)程序完全重寫了一個(gè)文件:

fd=open("file", O_TRUNC); write(fd, data); close(fd);

使用舊的文件系統(tǒng),close(fd); 足以保證 file 中的內(nèi)容刷新到磁盤。即使嚴(yán)格來說,寫不是事務(wù)性的,但如果文件關(guān)閉后發(fā)生崩潰,則丟失數(shù)據(jù)的風(fēng)險(xiǎn)很小。
如果寫入不成功(由于程序上的錯(cuò)誤、磁盤上的錯(cuò)誤、斷電等),文件的原始版本和較新版本都可能丟失數(shù)據(jù)或損壞。如果其它進(jìn)程在寫入文件時(shí)訪問文件,則會(huì)看到損壞的版本。如果其它進(jìn)程打開文件并且不希望其內(nèi)容發(fā)生更改 —— 例如,映射到多個(gè)正在運(yùn)行的程序的共享庫。這些進(jìn)程可能會(huì)崩潰。
為了避免這些問題,一些程序員完全避免使用 O_TRUNC。相反,他們可能會(huì)寫入一個(gè)新文件,關(guān)閉它,然后將其重命名為舊文件名:

fd=open("newfile"); write(fd, data); close(fd); rename("newfile", "file");

在沒有延遲分配的文件系統(tǒng)下,這足以避免上面列出的潛在的損壞和崩潰問題:因?yàn)?rename() 是原子操作,所以它不會(huì)被崩潰中斷;并且運(yùn)行的程序?qū)⒗^續(xù)引用舊的文件?,F(xiàn)在 file 的未鏈接版本只要有一個(gè)打開的文件文件句柄即可。但是因?yàn)?ext4 的延遲分配會(huì)導(dǎo)致寫入被延遲和重新排序,rename("newfile", "file") 可以在 newfile 的內(nèi)容實(shí)際寫入磁盤內(nèi)容之前執(zhí)行,這出現(xiàn)了并行進(jìn)行再次獲得 file 壞版本的問題。
為了緩解這種情況,Linux 內(nèi)核(自版本 2.6.30)嘗試檢測(cè)這些常見代碼情況并強(qiáng)制立即分配。這會(huì)減少但不能防止數(shù)據(jù)丟失的可能性 —— 并且它對(duì)新文件沒有任何幫助。如果你是一位開發(fā)人員,請(qǐng)注意:保證數(shù)據(jù)立即寫入磁盤的唯一方法是正確調(diào)用 fsync()。

無限制的子目錄

ext3 僅限于 32000 個(gè)子目錄;ext4 允許無限數(shù)量的子目錄。從 2.6.23 內(nèi)核版本開始,ext4 使用 HTree 索引來減少大量子目錄的性能損失。

日志校驗(yàn)

ext3 沒有對(duì)日志進(jìn)行校驗(yàn),這給處于內(nèi)核直接控制之外的磁盤或自帶緩存的控制器設(shè)備帶來了問題。如果控制器或具自帶緩存的磁盤脫離了寫入順序,則可能會(huì)破壞 ext3 的日記事務(wù)順序,從而可能破壞在崩潰期間(或之前一段時(shí)間)寫入的文件。
理論上,這個(gè)問題可以使用寫入 障礙(barrier) —— 在安裝文件系統(tǒng)時(shí),你在掛載選項(xiàng)設(shè)置 barrier=1,然后設(shè)備就會(huì)忠實(shí)地執(zhí)行 fsync 一直向下到底層硬件。通過實(shí)踐,可以發(fā)現(xiàn)存儲(chǔ)設(shè)備和控制器經(jīng)常不遵守寫入障礙 —— 提高性能(和跟競(jìng)爭(zhēng)對(duì)手比較的性能基準(zhǔn)),但增加了本應(yīng)該防止數(shù)據(jù)損壞的可能性。
對(duì)日志進(jìn)行校驗(yàn)和允許文件系統(tǒng)崩潰后第一次掛載時(shí)意識(shí)到其某些條目是無效或無序的。因此,這避免了回滾部分條目或無序日志條目的錯(cuò)誤,并進(jìn)一步損壞的文件系統(tǒng) —— 即使部分存儲(chǔ)設(shè)備假做或不遵守寫入障礙。

快速文件系統(tǒng)檢查

在 ext3 下,在 fsck 被調(diào)用時(shí)會(huì)檢查整個(gè)文件系統(tǒng) —— 包括已刪除或空文件。相比之下,ext4 標(biāo)記了 inode 表未分配的塊和扇區(qū),從而允許 fsck 完全跳過它們。這大大減少了在大多數(shù)文件系統(tǒng)上運(yùn)行 fsck 的時(shí)間,它實(shí)現(xiàn)于內(nèi)核 2.6.24。

改進(jìn)的時(shí)間戳

ext3 提供粒度為一秒的時(shí)間戳。雖然足以滿足大多數(shù)用途,但任務(wù)關(guān)鍵型應(yīng)用程序經(jīng)常需要更嚴(yán)格的時(shí)間控制。ext4 通過提供納秒級(jí)的時(shí)間戳,使其可用于那些企業(yè)、科學(xué)以及任務(wù)關(guān)鍵型的應(yīng)用程序。
ext3 文件系統(tǒng)也沒有提供足夠的位來存儲(chǔ) 2038 年 1 月 18 日以后的日期。ext4 在這里增加了兩個(gè)位,將 Unix 紀(jì)元 擴(kuò)展了 408 年。如果你在公元 2446 年讀到這篇文章,你很有可能已經(jīng)轉(zhuǎn)移到一個(gè)更好的文件系統(tǒng) —— 如果你還在測(cè)量自 1970 年 1 月 1 日 00:00(UTC)以來的時(shí)間,這會(huì)讓我死后得以安眠。

在線碎片整理

ext2 和 ext3 都不直接支持在線碎片整理 —— 即在掛載時(shí)會(huì)對(duì)文件系統(tǒng)進(jìn)行碎片整理。ext2 有一個(gè)包含的實(shí)用程序 e2defrag,它的名字暗示 —— 它需要在文件系統(tǒng)未掛載時(shí)脫機(jī)運(yùn)行。(顯然,這對(duì)于根文件系統(tǒng)來說非常有問題。)在 ext3 中的情況甚至更糟糕 —— 雖然 ext3 比 ext2 更不容易受到嚴(yán)重碎片的影響,但 ext3 文件系統(tǒng)運(yùn)行 e2defrag 可能會(huì)導(dǎo)致災(zāi)難性損壞和數(shù)據(jù)丟失。
盡管 ext3 最初被認(rèn)為“不受碎片影響”,但對(duì)同一文件(例如 BitTorrent)采用大規(guī)模并行寫入過程的過程清楚地表明情況并非完全如此。一些用戶空間的手段和解決方法,例如 Shake ,以這樣或那樣方式解決了這個(gè)問題 —— 但它們比真正的、文件系統(tǒng)感知的、內(nèi)核級(jí)碎片整理過程更慢并且在各方面都不太令人滿意。
ext4 通過 e4defrag 解決了這個(gè)問題,且是一個(gè)在線、內(nèi)核模式、文件系統(tǒng)感知、塊和區(qū)段級(jí)別的碎片整理實(shí)用程序。

正在進(jìn)行的 ext4 開發(fā)

ext4,正如 Monty Python 中瘟疫感染者曾經(jīng)說過的那樣,“我還沒死呢!”雖然它的 主要開發(fā)人員 認(rèn)為它只是一個(gè)真正的 下一代文件系統(tǒng) 的權(quán)宜之計(jì),但是在一段時(shí)間內(nèi),沒有任何可能的候選人準(zhǔn)備好(由于技術(shù)或許可問題)部署為根文件系統(tǒng)。
在未來的 ext4 版本中仍然有一些關(guān)鍵功能要開發(fā),包括元數(shù)據(jù)校驗(yàn)和、一流的配額支持和大分配塊。

元數(shù)據(jù)校驗(yàn)和

由于 ext4 具有冗余超級(jí)塊,因此為文件系統(tǒng)校驗(yàn)其中的元數(shù)據(jù)提供了一種方法,可以自行確定主超級(jí)塊是否已損壞并需要使用備用塊??梢栽跊]有校驗(yàn)和的情況下,從損壞的超級(jí)塊恢復(fù) —— 但是用戶首先需要意識(shí)到它已損壞,然后嘗試使用備用方法手動(dòng)掛載文件系統(tǒng)。由于在某些情況下,使用損壞的主超級(jí)塊安裝文件系統(tǒng)讀寫可能會(huì)造成進(jìn)一步的損壞,即使是經(jīng)驗(yàn)豐富的用戶也無法避免,這也不是一個(gè)完美的解決方案!
與 Btrfs 或 ZFS 等下一代文件系統(tǒng)提供的極其強(qiáng)大的每塊校驗(yàn)和相比,ext4 的元數(shù)據(jù)校驗(yàn)和的功能非常弱。但它總比沒有好。雖然校驗(yàn) 所有的事情 都聽起來很簡(jiǎn)單!—— 事實(shí)上,將校驗(yàn)和與文件系統(tǒng)連接到一起有一些重大的挑戰(zhàn);請(qǐng)參閱 設(shè)計(jì)文檔 了解詳細(xì)信息。

一流的配額支持

等等,配額?!從 ext2 出現(xiàn)的那天開始我們就有了這些!是的,但它們一直都是事后的添加的東西,而且它們總是犯傻。這里可能不值得詳細(xì)介紹,但 設(shè)計(jì)文檔 列出了配額將從用戶空間移動(dòng)到內(nèi)核中的方式,并且能夠更加正確和高效地執(zhí)行。

大分配塊

隨著時(shí)間的推移,那些討厭的存儲(chǔ)系統(tǒng)不斷變得越來越大。由于一些固態(tài)硬盤已經(jīng)使用 8K 硬件塊大小,因此 ext4 對(duì) 4K 模塊的當(dāng)前限制越來越受到限制。較大的存儲(chǔ)塊可以顯著減少碎片并提高性能,代價(jià)是增加“松弛”空間(當(dāng)你只需要塊的一部分來存儲(chǔ)文件或文件的最后一塊時(shí)留下的空間)。你可以在 設(shè)計(jì)文檔 中查看詳細(xì)說明。

ext4 的實(shí)際限制

ext4 是一個(gè)健壯、穩(wěn)定的文件系統(tǒng)。如今大多數(shù)人都應(yīng)該在用它作為根文件系統(tǒng),但它無法處理所有需求。讓我們簡(jiǎn)單地談?wù)勀悴粦?yīng)該期待的一些事情 —— 現(xiàn)在或可能在未來:

雖然 ext4 可以處理高達(dá) 1 EiB 大?。ㄏ喈?dāng)于 1,000,000 TiB)大小的數(shù)據(jù),但你 真的 不應(yīng)該嘗試這樣做。除了能夠記住更多塊的地址之外,還存在規(guī)模上的問題。并且現(xiàn)在 ext4 不會(huì)處理(并且可能永遠(yuǎn)不會(huì))超過 50-100 TiB 的數(shù)據(jù)。

ext4 也不足以保證數(shù)據(jù)的完整性。隨著日志記錄的重大進(jìn)展又回到了 ext3 的那個(gè)時(shí)候,它并未涵蓋數(shù)據(jù)損壞的許多常見原因。如果數(shù)據(jù)已經(jīng)在磁盤上被 破壞 —— 由于故障硬件,宇宙射線的影響(是的,真的),或者只是數(shù)據(jù)隨時(shí)間衰減 —— ext4 無法檢測(cè)或修復(fù)這種損壞。

基于上面兩點(diǎn),ext4 只是一個(gè)純 文件系統(tǒng),而不是存儲(chǔ)卷管理器。這意味著,即使你有多個(gè)磁盤 —— 也就是奇偶校驗(yàn)或冗余,理論上你可以從 ext4 中恢復(fù)損壞的數(shù)據(jù),但無法知道使用它是否對(duì)你有利。雖然理論上可以在不同的層中分離文件系統(tǒng)和存儲(chǔ)卷管理系統(tǒng)而不會(huì)丟失自動(dòng)損壞檢測(cè)和修復(fù)功能,但這不是當(dāng)前存儲(chǔ)系統(tǒng)的設(shè)計(jì)方式,并且它將給新設(shè)計(jì)帶來重大挑戰(zhàn)。

備用文件系統(tǒng)

在我們開始之前,提醒一句:要非常小心,沒有任何備用的文件系統(tǒng)作為主線內(nèi)核的一部分而內(nèi)置和直接支持!

即使一個(gè)文件系統(tǒng)是 安全的,如果在內(nèi)核升級(jí)期間出現(xiàn)問題,使用它作為根文件系統(tǒng)也是非常可怕的。如果你沒有充分的理由通過一個(gè) chroot 去使用替代介質(zhì)引導(dǎo),耐心地操作內(nèi)核模塊、grub 配置和 DKMS……不要在一個(gè)很重要的系統(tǒng)中去掉預(yù)留的根文件。

可能有充分的理由使用你的發(fā)行版不直接支持的文件系統(tǒng) —— 但如果你這樣做,我強(qiáng)烈建議你在系統(tǒng)啟動(dòng)并可用后再安裝它。(例如,你可能有一個(gè) ext4 根文件系統(tǒng),但是將大部分?jǐn)?shù)據(jù)存儲(chǔ)在 ZFS 或 Btrfs 池中。)

XFS

XFS 與非 ext 文件系統(tǒng)在 Linux 中的主線中的地位一樣。它是一個(gè) 64 位的日志文件系統(tǒng),自 2001 年以來內(nèi)置于 Linux 內(nèi)核中,為大型文件系統(tǒng)和高度并發(fā)性提供了高性能(即大量的進(jìn)程都會(huì)立即寫入文件系統(tǒng))。
從 RHEL 7 開始,XFS 成為 Red Hat Enterprise Linux 的默認(rèn)文件系統(tǒng)。對(duì)于家庭或小型企業(yè)用戶來說,它仍然有一些缺點(diǎn) —— 最值得注意的是,重新調(diào)整現(xiàn)有 XFS 文件系統(tǒng)是一件非常痛苦的事情,不如創(chuàng)建另一個(gè)并復(fù)制數(shù)據(jù)更有意義。
雖然 XFS 是穩(wěn)定的且是高性能的,但它和 ext4 之間沒有足夠具體的最終用途差異,以值得推薦在非默認(rèn)(如 RHEL7)的任何地方使用它,除非它解決了對(duì) ext4 的特定問題,例如大于 50 TiB 容量的文件系統(tǒng)。
XFS 在任何方面都不是 ZFS、Btrfs 甚至 WAFL(一個(gè)專有的 SAN 文件系統(tǒng))的“下一代”文件系統(tǒng)。就像 ext4 一樣,它應(yīng)該被視為一種更好的方式的權(quán)宜之計(jì)。

ZFS

ZFS 由 Sun Microsystems 開發(fā),以 zettabyte 命名 —— 相當(dāng)于 1 萬億 GB —— 因?yàn)樗碚撋峡梢越鉀Q大型存儲(chǔ)系統(tǒng)。
作為真正的下一代文件系統(tǒng),ZFS 提供卷管理(能夠在單個(gè)文件系統(tǒng)中處理多個(gè)單獨(dú)的存儲(chǔ)設(shè)備),塊級(jí)加密校驗(yàn)和(允許以極高的準(zhǔn)確率檢測(cè)數(shù)據(jù)損壞), 自動(dòng)損壞修復(fù) (其中冗余或奇偶校驗(yàn)存儲(chǔ)可用), 快速異步增量復(fù)制 ,內(nèi)聯(lián)壓縮等, 以及更多 。
從 Linux 用戶的角度來看,ZFS 的最大問題是許可證問題。ZFS 許可證是 CDDL 許可證,這是一種與 GPL 沖突的半許可的許可證。關(guān)于在 Linux 內(nèi)核中使用 ZFS 的意義存在很多爭(zhēng)議,其爭(zhēng)議范圍從“它是 GPL 違規(guī)”到“它是 CDDL 違規(guī)”到“它完全沒問題,它還沒有在法庭上進(jìn)行過測(cè)試?!弊钪档米⒁獾氖?,自 2016 年以來 Canonical 已將 ZFS 代碼內(nèi)聯(lián)在其默認(rèn)內(nèi)核中,而且目前尚無法律挑戰(zhàn)。
此時(shí),即使我作為一個(gè)非??駸嵊?ZFS 的用戶,我也不建議將 ZFS 作為 Linux 的根文件系統(tǒng)。如果你想在 Linux 上利用 ZFS 的優(yōu)勢(shì),用 ext4 設(shè)置一個(gè)小的根文件系統(tǒng),然后將 ZFS 用在你剩余的存儲(chǔ)上,把數(shù)據(jù)、應(yīng)用程序以及你喜歡的東西放在它上面 —— 但把 root 分區(qū)保留在 ext4 上,直到你的發(fā)行版明確支持 ZFS 根目錄。

Btrfs

Btrfs 是 B-Tree Filesystem 的簡(jiǎn)稱,通常發(fā)音為 “butter” —— 由 Chris Mason 于 2007 年在 Oracle 任職期間發(fā)布。Btrfs 旨在跟 ZFS 有大部分相同的目標(biāo),提供多種設(shè)備管理、每塊校驗(yàn)、異步復(fù)制、直列壓縮等, 還有更多 。
截至 2018 年,Btrfs 相當(dāng)穩(wěn)定,可用作標(biāo)準(zhǔn)的單磁盤文件系統(tǒng),但可能不應(yīng)該依賴于卷管理器。與許多常見用例中的 ext4、XFS 或 ZFS 相比,它存在嚴(yán)重的性能問題,其下一代功能 —— 復(fù)制、多磁盤拓?fù)浜涂煺展芾?—— 可能非常多,其結(jié)果可能是從災(zāi)難性地性能降低到實(shí)際數(shù)據(jù)的丟失。
Btrfs 的維持狀態(tài)是有爭(zhēng)議的;SUSE Enterprise Linux 在 2015 年采用它作為默認(rèn)文件系統(tǒng),而 Red Hat 于 2017 年宣布它從 RHEL 7.4 開始不再支持 Btrfs??赡苤档米⒁獾氖?,該產(chǎn)品支持 Btrfs 部署用作單磁盤文件系統(tǒng),而不是像 ZFS 中的多磁盤卷管理器,甚至 Synology 在它的存儲(chǔ)設(shè)備使用 Btrfs,但是它在傳統(tǒng) Linux 內(nèi)核 RAID(mdraid)之上分層來管理磁盤。

下面我們將ext~ext4的介紹、特點(diǎn)和優(yōu)勢(shì)簡(jiǎn)單的羅列一下:

文件系統(tǒng)名稱介紹特點(diǎn)優(yōu)勢(shì)
ext第一代擴(kuò)展文件系統(tǒng),一種文件系統(tǒng),于1992年4月發(fā)表,是為linux核心所做的第一個(gè)文件系統(tǒng)。采用Unix文件系統(tǒng)(UFS)的元數(shù)據(jù)結(jié)構(gòu),以克服MINIX文件系統(tǒng)性能不佳的問題。它是在linux上,第一個(gè)利用虛擬文件系統(tǒng)實(shí)現(xiàn)出的文件系統(tǒng)克服MINIX文件系統(tǒng)性能不佳的問題
ext2第二代擴(kuò)展文件系統(tǒng)是LINUX內(nèi)核所用的文件系統(tǒng)。它開始由Rémy Card設(shè)計(jì),用以代替ext,于1993年1月加入linux核心支持之中。ext2 的經(jīng)典實(shí)現(xiàn)為L(zhǎng)INUX內(nèi)核中的ext2fs文件系統(tǒng)驅(qū)動(dòng),最大可支持2TB的文件系統(tǒng),至linux核心2.6版時(shí),擴(kuò)展到可支持32TB。在ext2文件系統(tǒng)中,文件由inode(包含有文件的所有信息)進(jìn)行唯一標(biāo)識(shí)。一個(gè)文件可能對(duì)應(yīng)多個(gè)文件名,只有在所有文件名都被刪除后,該文件才會(huì)被刪除。此外,同一文件在磁盤中存放和被打開時(shí)所對(duì)應(yīng)的inode是不同的,并由內(nèi)核負(fù)責(zé)同步。文件系統(tǒng)高效穩(wěn)定
ext3EXT3是第三代擴(kuò)展文件系統(tǒng)(英語:Third extended filesystem,縮寫為ext3),是一個(gè)日志文件系統(tǒng),常用于Linux操作系統(tǒng)。.Ext3文件系統(tǒng)是直接從Ext2文件系統(tǒng)發(fā)展而來,目前ext3文件系統(tǒng)已經(jīng)非常穩(wěn)定可靠。它完全兼容ext2文件系統(tǒng)。用戶可以平滑地過渡到一個(gè)日志功能健全的文件系統(tǒng)中來。1、高可用性:系統(tǒng)使用了ext3文件系統(tǒng)后,即使在非正常關(guān)機(jī)后,系統(tǒng)也不需要檢查文件系統(tǒng)。 2、數(shù)據(jù)的完整性:避免了意外宕機(jī)對(duì)文件系統(tǒng)的破壞。 3、文件系統(tǒng)的速度:因?yàn)閑xt3的日志功能對(duì)磁盤的驅(qū)動(dòng)器讀寫頭進(jìn)行了優(yōu)化。所以,文件系統(tǒng)的讀寫性能較之Ext2文件系統(tǒng)并來說,性能并沒有降低。 4、數(shù)據(jù)轉(zhuǎn)換 :“由ext2文件系統(tǒng)轉(zhuǎn)換成ext3文件系統(tǒng)非常容易。 5、多種日志模式
ext4EXT4是第四代擴(kuò)展文件系統(tǒng)(英語:Fourth extended filesystem,縮寫為 ext4)是Linux系統(tǒng)下的日志文件系統(tǒng),是ext3文件系統(tǒng)的后繼版本。Ext4是由Ext3的維護(hù)者Theodore Tso領(lǐng)導(dǎo)的開發(fā)團(tuán)隊(duì)實(shí)現(xiàn)的,并引入到Linux2.6.19內(nèi)核中。Ext4是Ext3的改進(jìn)版,修改了Ext3中部分重要的數(shù)據(jù)結(jié)構(gòu),而不僅僅像Ext3對(duì)Ext2那樣,只是增加了一個(gè)日志功能而已。Ext4可以提供更佳的性能和可靠性,還有更為豐富的功能1.與Ext3兼容:執(zhí)行若干條命令,就能從Ext3在線遷移到Ext4,而無須重新格式化磁盤或重新安裝系統(tǒng)。 2.更大的文件系統(tǒng)和更大的文件:較之Ext3目前所支持的最大16TB文件系統(tǒng)和最大2TB文件,Ext4分別支持1EB(1,048,576TB,1EB=1024PB,1PB=1024TB)的文件系統(tǒng),以及16TB 的文件。 3.無限數(shù)量的子目錄:Ext3目前只支持32,000個(gè)子目錄,而Ext4支持無限數(shù)量的子目錄。 4.Extents:Ext4引入了現(xiàn)代文件系統(tǒng)中流行的extents概念,每個(gè) extent 為一組連續(xù)的數(shù)據(jù)塊,相比Ext3采用間接塊映射,提高了不少效率。 5.多塊分配:Ext4 的多塊分配器“multiblock allocator”(mballoc) 支持一次調(diào)用分配多個(gè)數(shù)據(jù)塊。 *6.延遲分配 7.快速 fsck 8.日志校驗(yàn) 9.“無日志”(No Journaling)模式 10.在線碎片整理 11.inode 相關(guān)特性:較之Ext3默認(rèn)的inode大小128字節(jié),ext4默認(rèn)inode大小為256字節(jié)

感謝各位的閱讀!關(guān)于“Linux文件系統(tǒng)中ext4及更高版本的示例分析”這篇文章就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,讓大家可以學(xué)到更多知識(shí),如果覺得文章不錯(cuò),可以把它分享出去讓更多的人看到吧!

向AI問一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI