溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

Linux下常見文件系統(tǒng)的示例分析

發(fā)布時間:2021-10-27 10:34:49 來源:億速云 閱讀:204 作者:小新 欄目:系統(tǒng)運維

這篇文章主要介紹了Linux下常見文件系統(tǒng)的示例分析,具有一定借鑒價值,感興趣的朋友可以參考下,希望大家閱讀完這篇文章之后大有收獲,下面讓小編帶著大家一起了解一下。

歷史

文件系統(tǒng)創(chuàng)建者創(chuàng)建時間最開始支持的平臺
ext2Rémy Card1993Linux,Hurd
XFSSGI1994IRIX, Linux, FreeBSD
ext3Dr. Stephen C. Tweedie1999Linux
ZFSSun2004Solaris
ext4眾多開發(fā)者2006Linux
BtrfsOracle2007Linux

從創(chuàng)建時間可以看出他們所處的不同時代,因為Btrfs的實現(xiàn)借鑒自ZFS,所以這里也將ZFS列出來作為參考。

大小限制

文件系統(tǒng)***文件名長度***文件大小***分區(qū)大小
ext2255 bytes2 TB16 TB
ext3255 bytes2 TB16 TB
ext4255 bytes16 TB1 EB
XFS255 bytes8 EB8 EB
Btrfs255 bytes16 EB16 EB

***文件和分區(qū)大小受格式化分區(qū)時所采用的塊大小(block size)所影響,塊越大,所支持的***文件和分區(qū)越大,也越可能浪費磁盤空間,上表列出的數(shù)據(jù)基于4K的塊大小。

代碼規(guī)模

從代碼規(guī)??梢钥闯鑫募到y(tǒng)的功能豐富程度以及復(fù)雜度,下面列出的數(shù)據(jù)來自于kernel-4.1-rc8,只是簡單的用wc -l來統(tǒng)計,沒有過濾空行、注釋等。

文件系統(tǒng)源文件(.c)頭文件(.h)
ext283631016
ext3164961567
ext4446504522
XFS8960515091
Btrfs1052547933
  • Btrfs還在快速的開發(fā)過程中,代碼行數(shù)可能還有比較大的變化

  • XFS和Btrfs都使用了B-tree

ext2

ext的優(yōu)點是比較簡單,文件比較少時性能較好,比較適合文件少的場景,主要缺點如下

  • inode的數(shù)量是固定不變的,在格式化分區(qū)的時候可以指定inode和數(shù)據(jù)塊所占空間的比例,但一旦格式化好,后續(xù)就沒法再改變了

  • 當(dāng)塊大小為4K時,單個文件大小不能超過2TB,分區(qū)大小不能超過16TB(目前硬盤大小一般都只有幾TB,所以也不是什么大問題,)

  • 一個目錄下最多只能有32000個子目錄

  • 由于目錄里面存儲的文件和子目錄都是以線性方式來組織的,所以遍歷目錄效率不高,尤其當(dāng)目錄下文件個數(shù)達到10K以上規(guī)模的時候,速度會明顯的變慢

  • 當(dāng)?shù)讓拥拇疟P分區(qū)空間變大時(使用LVM時很常見),ext2沒法動態(tài)的擴展來使用增加的空間

  • 沒有日志(Journal)功能,所以數(shù)據(jù)的安全性不高

ext3

ext3在ext2的基礎(chǔ)上實現(xiàn)了下面幾個功能,其它的都保持不變,即ext2的缺點ext3也有

  • 支持日志(Journal)功能,數(shù)據(jù)的安全性較ext2有很大的提高

  • 當(dāng)?shù)讓拥姆謪^(qū)空間變大時,ext3可以自動擴展來使用增加的空間

  • 使用HTree來組織目錄里面的文件和子目錄,使目錄下的文件和子目錄數(shù)不再受性能限制(數(shù)量超過10K也不會有性能問題)

ext4

ext4借鑒了當(dāng)前成熟的一些文件系統(tǒng)技術(shù),在ext3上增加了一些功能,并且對性能做了一些改進,主要變化如下

  • 當(dāng)塊大小為4K時,支持的***文件和***分區(qū)大小分別達到了16TB和1EB

  • 不再受32000個子目錄數(shù)的限制,支持不限數(shù)量的子目錄個數(shù)

  • 支持Extents,提高了大文件的操作性能

  • 內(nèi)部實現(xiàn)上支持一次分配多個數(shù)據(jù)塊,較ext3的性能有所提高

  • 支持延時分配(即支持fallocate函數(shù))(fallocate是libc的函數(shù),在不支持該功能的文件系統(tǒng)上,libc會創(chuàng)建一個占用磁盤空間文件)

  • 支持在線快速掃描

  • 支持在線碎片整理(單個文件或者整個分區(qū))

  • 日志(Journal)支持校驗碼(checksum),數(shù)據(jù)的安全性進一步提高

  • 支持無日志(No Journaling)模式(ext3不支持該功能),這樣就和ext2一樣,消除了寫日志對性能的影響

  • 支持納秒級的時間戳

  • 記錄了文件的創(chuàng)建時間,由于相關(guān)的應(yīng)用層工具還不支持,所以只能通過debug的方式看到文件的創(chuàng)建時間

這里是一個查看文件/etc/fstab創(chuàng)建時間的例子(文件存在/dev/sda1分區(qū)上):

dev@ubuntu:~$ ls -i /etc/fstab 10747906 /etc/fstab dev@ubuntu:~$ sudo debugfs -R 'stat <10747906>' /dev/sda1 Inode: 10747906   Type: regular    Mode:  0644   Flags: 0x80000 Links: 1   Blockcount: 8 ctime: 0x5546dc54:6e6bc80c -- Sun May  3 22:41:24 2015  atime: 0x55d1b014:8bcf7b44 -- Mon Aug 17 05:57:40 2015  mtime: 0x5546dc54:6e6bc80c -- Sun May  3 22:41:24 2015 crtime: 0x5546dc54:6e6bc80c -- Sun May  3 22:41:24 2015 Size of extra inode fields: 28 EXTENTS: (0):46712815

Extents: 在最開始的ext2文件系統(tǒng)中,數(shù)據(jù)塊都是一個一個單獨管理的,inode中存有指向數(shù)據(jù)塊的指針,文件占用了多少個數(shù)據(jù)塊,inode里面就有多少個指針(多級),想象一下一個1G的文件,4K的塊大小,那么需要(1024 * 1024)/4=262144個數(shù)據(jù)塊,即需要262144個指針,創(chuàng)建文件的時候需要初始化這些指針,刪除文件的時候需要回收這些指針,影響性能。現(xiàn)代的文件系統(tǒng)都支持Extents的功能,簡單點說,Extent就是數(shù)據(jù)塊的集合,以前一次分配一個數(shù)據(jù)塊,現(xiàn)在可以一次分配一個Extent,里面包含很多數(shù)據(jù)塊,同時inode里面只需要分配指向Extent的指針就可以了,從而大大減少了指針的數(shù)量和層級,提高了大文件操作的性能。

inode數(shù)量固定: 在ext2/3/4系列的文件系統(tǒng)中,inode的數(shù)量都是固定的,壞處是如果存很多小文件的話,有可能造成inode被用光,但磁盤還有很多剩余空間無法被使用的情況,不過它也有一個好處,就是一旦磁盤損壞,恢復(fù)起來要相對簡單些,因為數(shù)據(jù)在磁盤上布局相對要固定簡單。

xfs

和ext4相比,xfs不支持下面這些功能

  • 不支持日志(Journal)校驗碼

  • 不支持無日志(No Journaling)模式

  • 不支持文件創(chuàng)建時間

  • 不支持?jǐn)?shù)據(jù)日志(data journal),只有元數(shù)據(jù)日志(metadata journal)

但xfs有下面這些特性

  • 支持的***文件和分區(qū)都達到了8EB

  • inode動態(tài)分配,從而不受inode數(shù)量的限制,再也不用擔(dān)心存儲大量小文件導(dǎo)致inode不夠用的問題了。

  • 更大的xattr(extended attributes)空間,ext2/3/4及btrfs都限制xattr的長度不能超過一個塊(一般是4K),而xfs可以達到64K

  • 內(nèi)部采用Allocation groups機制,各個group之間沒有依賴,支持并發(fā)操作,在多核環(huán)境的某些場景下性能表現(xiàn)不錯

  • 提供了原生的dump和restore工具,并且支持在線dump

btrfs

btrfs是一個和ZFS類似的文件系統(tǒng),支持的功能非常多,據(jù)說將來會替換ext4成為Linux下的默認(rèn)文件系統(tǒng)。這里列舉一些重要的功能

  • 支持的***文件和分區(qū)達到了16EB

  • 支持COW(copy on write)

  • 針對小文件和SSD做了優(yōu)化

  • inode動態(tài)分配

  • 支持子分區(qū)(Subvolumes),子分區(qū)可以單獨掛載

  • 支持元數(shù)據(jù)和數(shù)據(jù)的校驗(crc32)

  • 支持壓縮,去重

  • 支持多個磁盤和分區(qū),可動態(tài)擴展

  • 支持LVM,RAID的功能(有了btrfs,就不再需要lvm和軟raid了)

  • 增量備份和恢復(fù)

  • 支持快照

  • 將ext2/3/4轉(zhuǎn)換成btrfs(反過來不行)

btrfs***的缺點就是由于其COW的實現(xiàn)方式,導(dǎo)致碎片化問題比較嚴(yán)重,不太適合頻繁寫的場景,比如數(shù)據(jù)庫、虛擬機的磁盤文件等。不過大部分場合不需要擔(dān)心,btrfs有在線的碎片整理工具。

如何選擇

下表僅供參考

文件系統(tǒng)適用場景原因
ext2U盤U盤一般不會存很多文件,且U盤的文件在電腦上有備份,安全性要求沒那么高,由于ext2不寫日志(journal),所以寫U盤性能比較好。當(dāng)然由于ext2的兼容性沒有fat好,目前大多數(shù)U盤格式還是用fat
ext3對穩(wěn)定性要求高的地方有了ext4后,好像沒什么原因還要用ext3,ext4現(xiàn)在的問題是出來時間不長,還需要一段時間變穩(wěn)定
ext4小文件較少ext系列的文件系統(tǒng)都不支持inode動態(tài)分配,所以如果有大量小文件需要存儲的話,不建議用ext4
xfs小文件多或者需要大的xttr空間,如openstack swift將數(shù)據(jù)文件的元數(shù)據(jù)放在了xttr里面xfs支持inode動態(tài)分配,所以不存在inode不夠的情況,并且xttr的***長度可以達到64K
btrfs沒有頻繁的寫操作,且需要btrfs的一些特性btrfs雖然還不穩(wěn)定,但支持眾多的功能,如果你需要這些功能,且不會頻繁的寫文件,那么選擇btrfs

另外,ext系列文件系統(tǒng)內(nèi)部結(jié)構(gòu)相對簡單一些,出問題后恢復(fù)相對容易。

感謝你能夠認(rèn)真閱讀完這篇文章,希望小編分享的“Linux下常見文件系統(tǒng)的示例分析”這篇文章對大家有幫助,同時也希望大家多多支持億速云,關(guān)注億速云行業(yè)資訊頻道,更多相關(guān)知識等著你來學(xué)習(xí)!

向AI問一下細節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI