Linux文件分布式系統(tǒng)是什么

這篇文章主要介紹“Linux文件分布式系統(tǒng)是什么”的相關(guān)知識(shí)，小編通過(guò)實(shí)際案例向大家展示操作過(guò)程，操作方法簡(jiǎn)單快捷，實(shí)用性強(qiáng)，希望這篇“Linux文件分布式系統(tǒng)是什么”文章能幫助大家解決問(wèn)題。

Lustre（www.lustre.org）

　　lustre是一個(gè)大規(guī)模的、安全可靠的，具備高可用性的集群文件系統(tǒng)，它是由SUN公司開發(fā)和維護(hù)。該項(xiàng)目主要的目的就是開發(fā)下一代的集群文件系統(tǒng)，可以支持超過(guò)10000個(gè)節(jié)點(diǎn)，數(shù)以PB的數(shù)量存儲(chǔ)系統(tǒng)。

　　lustre是開放源代碼的集群文件系統(tǒng)，采取GPL許可協(xié)議，目前在集群計(jì)算機(jī)里，計(jì)算機(jī)與磁盤間數(shù)據(jù)交換的提升無(wú)法跟上微處理器和內(nèi)存增長(zhǎng)的速 度，從而也拖累了應(yīng)用程序的性能，一種新興的集群文件系統(tǒng)軟件提高了I/O速度，可能降低企業(yè)購(gòu)買存儲(chǔ)設(shè)備的成本并改變企業(yè)購(gòu)買存儲(chǔ)的方式，集群文件系統(tǒng) 已經(jīng)在大學(xué)、實(shí)驗(yàn)室和超級(jí)計(jì)算機(jī)研究中心里使用，而且即將進(jìn)入通用商業(yè)計(jì)算市場(chǎng)。新的集群文件系統(tǒng)采用了開源的lustre技術(shù)，由美國(guó)能源部 (Department Of Energy）開發(fā)，惠普公司(HP）提供商業(yè)支持。它顯著提高了輸入輸出（I/O)速度，目前已經(jīng)在高校、國(guó)家實(shí)驗(yàn)室和超級(jí)計(jì)算研究中心產(chǎn)生了一定影 響，未來(lái)幾年中，它很有可能進(jìn)入普通的商業(yè)計(jì)算機(jī)領(lǐng)域。

　　運(yùn)行在linux下,開發(fā)語(yǔ)言c/c++

　　Hadoop（hadoop.apache.com）

　　hadoop并不僅僅是一個(gè)用于存儲(chǔ)的分布式文件系統(tǒng)，而是設(shè)計(jì)用來(lái)在由通用計(jì)算設(shè)備組成的大型集群上執(zhí)行分布式應(yīng)用的框架。

　　如下圖是hadoop的體系結(jié)構(gòu)：

　　授權(quán)協(xié)議apache,開發(fā)語(yǔ)言java，資源耗費(fèi)有點(diǎn)大。

　　MogileFs（www.danga.com）

　　Mogile Fs是一個(gè)開源的分布式文件系統(tǒng)，主要特征包括

　　1、應(yīng)用層的組件

　　2、無(wú)單點(diǎn)故障

　　3、自動(dòng)文件復(fù)制

　　4、具有比RAID更好的可靠性

　　5、無(wú)需RAID nigukefs支持 ，運(yùn)行在linux下。

　　FreeNAS（www.openqrm.org）

　　FreeNAS是網(wǎng)絡(luò)附加存儲(chǔ)(NAS)服務(wù)專用操作系統(tǒng)(FreeBSD的簡(jiǎn)化版 )。基于m0n0wall防火墻，該系統(tǒng)通過(guò)提供磁盤管理及RAID軟件，可讓用戶home將PC轉(zhuǎn)換為NAS服務(wù)器，支持FTP/NFS/RSYNC/CIFS/AFP/UNISON/SSH sourceforge.net/pro協(xié)議，旨在讓人們重新使用舊硬件.

　　FastDFS（code.google.com/p/fastdfs）

　　FastDFS是一個(gè)開源的分布式文件系統(tǒng)，它對(duì)文件進(jìn)行管理，功能包括:文件存儲(chǔ)、文件同步、文件訪問(wèn)(文件上傳、文件下載)等，解決了大容量存儲(chǔ)和負(fù)載均衡的問(wèn)題。特別適合以文件為載體的在線服務(wù)， 如相冊(cè)網(wǎng)站，視頻網(wǎng)站等等。FastDFS服務(wù)端有兩個(gè)角色：跟蹤器(tracker)和存儲(chǔ)節(jié)點(diǎn)(storage)。跟蹤器主要做調(diào)度的工作，在訪問(wèn)上起負(fù)載均衡的作用。存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)文件，完成文件管理的所有功能：

　　存儲(chǔ)、同步、和提供存取接口，F(xiàn)astDFS同時(shí)對(duì)文件的meta data進(jìn)行管理。所謂文件的meta data就是文件的相關(guān)屬性，以鍵值對(duì)(key value pair)方式表示，如：width=1024,其中的key為width，value為1024。文件meta data是文件屬性列表，可以包含多個(gè)鍵值樹。

　　開發(fā)語(yǔ)言c/c++，運(yùn)行在linux系統(tǒng)下。

　　NFS（www.tldp.org/HOWTO/NFS-HOWTO/index.html）

　　網(wǎng)絡(luò)文件系統(tǒng)是FreeBSD支持的文件系統(tǒng)中的一種，也被稱為NFS。

　　NFS允許一個(gè)系統(tǒng)在網(wǎng)絡(luò)上與它人共享目錄和文件。通過(guò)使用NFS， 用戶和程序可以象訪問(wèn)本地文件一樣訪問(wèn)遠(yuǎn)端系統(tǒng)上的文件。它的好處是：

　　1、本地工作站使用更少的磁盤空間，因?yàn)橥ǔ５臄?shù)據(jù)可以存放在一臺(tái)機(jī)器上而且可以通過(guò)網(wǎng)絡(luò)訪問(wèn)到。

　　2、用戶不必在每個(gè)網(wǎng)絡(luò)上機(jī)器里面都有一個(gè)home目錄。home目錄可以被放在NFS服務(wù)器上并且在網(wǎng)絡(luò)上處處可用。

　　3、諸如軟驅(qū)、CDROM、和ZIP之類的存儲(chǔ)設(shè)備可以在網(wǎng)絡(luò)上面被別的機(jī)器使用?？梢詼p少整個(gè)網(wǎng)絡(luò)上的可移動(dòng)介質(zhì)設(shè)備的數(shù)量。

　　開發(fā)語(yǔ)言c/c++,可跨平臺(tái)運(yùn)行。

　　OpenAFS（www.openafs.org）

　　OpenAFS是一套開放源代碼的分布式文件系統(tǒng)，允許系統(tǒng)之間通過(guò)局域網(wǎng)和廣域網(wǎng)來(lái)分享檔案和資源。OpenAFS是圍繞一組叫做cell的文件服 務(wù)器組織的，每個(gè)服務(wù)器的標(biāo)識(shí)通常是隱藏在文件系統(tǒng)中，從AFS客戶機(jī)登陸的用戶將分辨不出他們?cè)谀莻€(gè)服務(wù)器上運(yùn)行，因?yàn)閺挠脩舻慕嵌壬峡?，他們想在有識(shí) 別的Unix文件系統(tǒng)語(yǔ)義的單個(gè)系統(tǒng)上運(yùn)行。

　　文件系統(tǒng)內(nèi)容通常都是跨cell復(fù)制，一便一個(gè)硬盤的失效不會(huì)損害OpenAFS客戶機(jī)上的運(yùn)行。OpenAFS需要高達(dá)1GB的大容量客戶機(jī)緩存， 以允許訪問(wèn)經(jīng)常使用的文件。它是一個(gè)十分安全的基于kerbero的系統(tǒng)，它使用訪問(wèn)控制列表(ACL）以便可以進(jìn)行細(xì)粒度的訪問(wèn)，這不是基于通常的 Linux和Unix安全模型。開發(fā)協(xié)議IBM Public，運(yùn)行在linux下。

　　MooseFs（derf.homelinux.org）

　　Moose File System是一個(gè)具備容錯(cuò)功能的網(wǎng)路分布式文件統(tǒng)，它將數(shù)據(jù)分布在網(wǎng)絡(luò)中的不同服務(wù)器上，MooseFs通過(guò)FUSE使之看起來(lái)就 是一個(gè)Unix的文件系統(tǒng)。但有一點(diǎn)問(wèn)題，它還是不能解決單點(diǎn)故障的問(wèn)題。開發(fā)語(yǔ)言perl,可跨平臺(tái)操作。

　　pNFS（www.pnfs.com）

　　網(wǎng)絡(luò)文件系統(tǒng)(Network FileSystem,NFS)是大多數(shù)局域網(wǎng)(LAN）的重要的組成部分。但NFS不適用于高性能計(jì)算中苛刻的輸入書櫥密集型程序，至少以前是這樣。NFS標(biāo)準(zhǔn)的罪行修改納入了Parallel NFS(pNFS），它是文件共享的并行實(shí)現(xiàn)，將傳輸速率提高了幾個(gè)數(shù)量級(jí)。

　　開發(fā)語(yǔ)言c/c++,運(yùn)行在linu下。

　　googleFs

　　據(jù)說(shuō)是一個(gè)比較不錯(cuò)的一個(gè)可擴(kuò)展分布式文件系統(tǒng)，用于大型的，分布式的，對(duì)大量數(shù)據(jù)進(jìn)行訪問(wèn)的應(yīng)用。它運(yùn)行于廉價(jià)的普通硬件上，但可以提供容錯(cuò)功能，它可以給大量的用戶提供性能較高的服務(wù)。google自己開發(fā)的。

關(guān)于“Linux文件分布式系統(tǒng)是什么”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)，可以關(guān)注億速云行業(yè)資訊頻道，小編每天都會(huì)為大家更新不同的知識(shí)點(diǎn)。