linux有什么分布式文件系統(tǒng)

今天小編給大家分享一下linux有什么分布式文件系統(tǒng)的相關(guān)知識(shí)點(diǎn)，內(nèi)容詳細(xì)，邏輯清晰，相信大部分人都還太了解這方面的知識(shí)，所以分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后有所收獲，下面我們一起來(lái)了解一下吧。

linux分布式文件系統(tǒng)有：1、OpenAFS，是一套開(kāi)放源代碼的分布式文件系統(tǒng)；2、MooseFs，是一個(gè)具備容錯(cuò)功能的網(wǎng)絡(luò)分布式文件統(tǒng)；3、googleFs，是一個(gè)可擴(kuò)展分布式文件系統(tǒng)等。

linux分布式文件系統(tǒng)有哪些？

• NFS（www.tldp.org/HOWTO/NFS-HOWTO/index.html）

網(wǎng)絡(luò)文件系統(tǒng)是FreeBSD支持的文件系統(tǒng)中的一種，也被稱為NFS。

NFS允許一個(gè)系統(tǒng)在網(wǎng)絡(luò)上與它人共享目錄和文件。通過(guò)使用NFS， 用戶和程序可以象訪問(wèn)本地文件一樣訪問(wèn)遠(yuǎn)端系統(tǒng)上的文件。它的好處是：

1、本地工作站使用更少的磁盤(pán)空間，因?yàn)橥ǔ５臄?shù)據(jù)可以存放在一臺(tái)機(jī)器上而且可以通過(guò)網(wǎng)絡(luò)訪問(wèn)到。

2、用戶不必在每個(gè)網(wǎng)絡(luò)上機(jī)器里面都有一個(gè)home目錄。home目錄可以被放在NFS服務(wù)器上并且在網(wǎng)絡(luò)上處處可用。

3、諸如軟驅(qū)、CDROM、和ZIP之類的存儲(chǔ)設(shè)備可以在網(wǎng)絡(luò)上面被別的機(jī)器使用。可以減少整個(gè)網(wǎng)絡(luò)上的可移動(dòng)介質(zhì)設(shè)備的數(shù)量。

開(kāi)發(fā)語(yǔ)言c/c++,可跨平臺(tái)運(yùn)行。

• OpenAFS（www.openafs.org）

OpenAFS是一套開(kāi)放源代碼的分布式文件系統(tǒng)，允許系統(tǒng)之間通過(guò)局域網(wǎng)和廣域網(wǎng)來(lái)分享檔案和資源。OpenAFS是圍繞一組叫做cell的文件服務(wù)器組織的，每個(gè)服務(wù)器的標(biāo)識(shí)通常是隱藏在文件系統(tǒng)中，從AFS客戶機(jī)登陸的用戶將分辨不出他們?cè)谀莻€(gè)服務(wù)器上運(yùn)行，因?yàn)閺挠脩舻慕嵌壬峡?，他們想在有識(shí)別的Unix文件系統(tǒng)語(yǔ)義的單個(gè)系統(tǒng)上運(yùn)行。

文件系統(tǒng)內(nèi)容通常都是跨cell復(fù)制，一便一個(gè)硬盤(pán)的失效不會(huì)損害OpenAFS客戶機(jī)上的運(yùn)行。OpenAFS需要高達(dá)1GB的大容量客戶機(jī)緩存，以允許訪問(wèn)經(jīng)常使用的文件。它是一個(gè)十分安全的基于kerbero的系統(tǒng)，它使用訪問(wèn)控制列表(ACL）以便可以進(jìn)行細(xì)粒度的訪問(wèn)，這不是基于通常的Linux和Unix安全模型。開(kāi)發(fā)協(xié)議IBM Public，運(yùn)行在linux下。

• MooseFs（derf.homelinux.org）

Moose File System是一個(gè)具備容錯(cuò)功能的網(wǎng)絡(luò)分布式文件統(tǒng)，它將數(shù)據(jù)分布在網(wǎng)絡(luò)中的不同服務(wù)器上，MooseFs通過(guò)FUSE使之看起來(lái)就 是一個(gè)Unix的文件系統(tǒng)。但有一點(diǎn)問(wèn)題，它還是不能解決單點(diǎn)故障的問(wèn)題。開(kāi)發(fā)語(yǔ)言perl,可跨平臺(tái)操作。

• pNFS（www.pnfs.com）

網(wǎng)絡(luò)文件系統(tǒng)(Network FileSystem,NFS)是大多數(shù)局域網(wǎng)(LAN）的重要的組成部分。但NFS不適用于高性能計(jì)算中苛刻的輸入書(shū)櫥密集型程序，至少以前是這樣。NFS標(biāo)準(zhǔn)的罪行修改納入了Parallel NFS(pNFS），它是文件共享的并行實(shí)現(xiàn)，將傳輸速率提高了幾個(gè)數(shù)量級(jí)。

開(kāi)發(fā)語(yǔ)言c/c++,運(yùn)行在linux下。

• googleFs

據(jù)說(shuō)是一個(gè)比較不錯(cuò)的一個(gè)可擴(kuò)展分布式文件系統(tǒng)，用于大型的，分布式的，對(duì)大量數(shù)據(jù)進(jìn)行訪問(wèn)的應(yīng)用。它運(yùn)行于廉價(jià)的普通硬件上，但可以提供容錯(cuò)功能，它可以給大量的用戶提供性能較高的服務(wù)。google自己開(kāi)發(fā)的。

相關(guān)拓展：

常用的分布式文件系統(tǒng)有：GFS、TFS、HDFS、MooseFs、FastDfs、MogileFs、GridFs、MinIO、SeaweedFS、GlusterFS、Ceph、GlusterFS等。

常見(jiàn)分布式文件系統(tǒng)比對(duì)

1、GFS（Google File System）
Google公司為滿足公司需求而開(kāi)發(fā)的基于Linux的可擴(kuò)展的分布式文件系統(tǒng)，用于大型的、分布式的、對(duì)大數(shù)據(jù)進(jìn)行訪問(wèn)和應(yīng)用，成本低，應(yīng)用于廉價(jià)的普通硬件上，但不開(kāi)源，暫不考慮。

2、TFS（Taobao File System）
阿里巴巴為滿足了淘寶對(duì)小文件存儲(chǔ)的需求而開(kāi)發(fā)的一個(gè)可擴(kuò)展、高可用、高性能、面向互聯(lián)網(wǎng)服務(wù)、開(kāi)源的分布式文件系統(tǒng)，主要針對(duì)海量的非結(jié)構(gòu)化數(shù)據(jù)，它構(gòu)筑在普通的Linux機(jī)器集群上，可為外部提供高可靠和高并發(fā)的存儲(chǔ)訪問(wèn)。TFS為淘寶提供海量小文件存儲(chǔ)，通常文件大小不超過(guò)1M，這個(gè)也暫不考慮。

3、HDFS（Hadoop Distributed File System）
Hadoop分布式文件系統(tǒng)，適合運(yùn)行在通用硬件上做分布式存儲(chǔ)和計(jì)算，因?yàn)樗哂懈呷蒎e(cuò)性和可擴(kuò)展性的特點(diǎn)，可部署在廉價(jià)的機(jī)器上，適合大數(shù)據(jù)的處理，在離線批量處理大數(shù)據(jù)上有先天的優(yōu)勢(shì)。
Hadoop是Apache Lucene創(chuàng)始人Doug Cutting開(kāi)發(fā)的使用廣泛的文本搜索庫(kù)。它起源于Apache Nutch，后者是一個(gè)開(kāi)源的網(wǎng)絡(luò)搜索引擎，本身也是Luene項(xiàng)目的一部分。Aapche Hadoop架構(gòu)是MapReduce算法的一種開(kāi)源應(yīng)用，是Google開(kāi)創(chuàng)其帝國(guó)的重要基石。

4、MooseFS
MooseFS 是來(lái)自波蘭的開(kāi)源且具備冗余容錯(cuò)功能的分布式 POSIX 文件系統(tǒng)，也是參照了 GFS 的架構(gòu)，實(shí)現(xiàn)了絕大部分 POSIX 語(yǔ)義和 API，它支持通過(guò)FUSE方式將文件掛載操作，同時(shí)其提供的web管理界面非常方便查看當(dāng)前的文件存儲(chǔ)狀態(tài)，對(duì)master服務(wù)器有單點(diǎn)依賴，用perl編寫(xiě)，用于中、大型文件應(yīng)用，但性能相對(duì)較差，由于可能會(huì)實(shí)時(shí)訪問(wèn)所以暫不考慮。
備注：POSIX表示可移植操作系統(tǒng)接口(Portable Operating System Interface of UNIX,縮寫(xiě)為 POSIX )，POSIX標(biāo)準(zhǔn)定義了操作系統(tǒng)應(yīng)該為應(yīng)用程序提供的接口標(biāo)準(zhǔn)

5、FastDFS
由淘寶的余慶先生所開(kāi)發(fā)的一個(gè)開(kāi)源分布式文件系統(tǒng)。它對(duì)文件進(jìn)行管理，功能包括：文件存儲(chǔ)、文件同步、文件訪問(wèn)（文件上傳、文件下載）等，解決了大容量存儲(chǔ)和負(fù)載均衡的問(wèn)題。適合以文件為載體的在線服務(wù)，如相冊(cè)網(wǎng)站、視頻網(wǎng)站等等。FastDFS為互聯(lián)網(wǎng)量身定制，充分考慮了冗余備份、負(fù)載均衡、線性擴(kuò)容等機(jī)制，并注重高可用、高性能等指標(biāo)，使用FastDFS搭建一套高性能的文件服務(wù)器集群提供文件上傳、下載等服務(wù)。但是FastDFS部署有點(diǎn)麻煩，且它的SKD是不全的。

6、MogileFS
MogileFS是一套高效開(kāi)源的文件自動(dòng)備份組件，由Six Apart開(kāi)發(fā)，廣泛應(yīng)用在包括LiveJournal等web2.0站點(diǎn)上。支持多節(jié)點(diǎn)冗余，可實(shí)現(xiàn)自動(dòng)的文件復(fù)制。不需要RAID，應(yīng)用層可以直接實(shí)現(xiàn)RAID，不共享任何東西，通過(guò)集群接口提供服務(wù)工作于應(yīng)用層，沒(méi)有特殊的組件要求。使用HTTP方式通信。

國(guó)內(nèi)所知道的使用 MogileFS 的公司有圖片托管網(wǎng)站 yupoo又拍,digg, 土豆, 豆瓣,1 號(hào)店, 大眾點(diǎn)評(píng),搜狗,安居客等等網(wǎng)站.基本很多網(wǎng)站容量，圖片都超過(guò) 30T 以上。

7、GridFS
MongoDB是一種知名的NoSql數(shù)據(jù)庫(kù)，GridFS是MongoDB的一個(gè)內(nèi)置功能，它用于存儲(chǔ)和恢復(fù)那些超過(guò)16M（BSON文件限制）的文件(如：圖片、音頻、視頻等)，是文件存儲(chǔ)的一種方式，但是它是存儲(chǔ)在MonoDB的集合中。它可以直接利用已建立的復(fù)制或分片機(jī)制，所以對(duì)于文件存儲(chǔ)來(lái)說(shuō)故障恢復(fù)和擴(kuò)展都容易，且GridFS不產(chǎn)生磁盤(pán)碎片。

8、MinIO
MinIO 是一個(gè)基于Apache License v2.0開(kāi)源協(xié)議的對(duì)象存儲(chǔ)服務(wù)。它兼容亞馬遜S3云存儲(chǔ)服務(wù)接口，非常適合于存儲(chǔ)大容量非結(jié)構(gòu)化的數(shù)據(jù)，例如圖片、視頻、日志文件、備份數(shù)據(jù)和容器/虛擬機(jī)鏡像等，而一個(gè)對(duì)象文件可以是任意大小，從幾kb到最大5T不等。它也是一個(gè)非常輕量的服務(wù),可以很簡(jiǎn)單的和其他應(yīng)用的結(jié)合。MinIO的特色在于簡(jiǎn)單、輕量級(jí)，對(duì)開(kāi)發(fā)者友好，學(xué)習(xí)成本低，安裝運(yùn)維簡(jiǎn)單，開(kāi)箱即用。

9、SeaweedFS
SeaweedFS是基于go語(yǔ)言開(kāi)發(fā)高度可擴(kuò)展開(kāi)源的分布式存儲(chǔ)系統(tǒng)，能存儲(chǔ)數(shù)十億文件（最終受制于你的硬盤(pán)大小）、并且速度快，內(nèi)存占用小。上手使用比f(wàn)astDFS要簡(jiǎn)單很多，自帶Rest API。對(duì)于中小型文件效率非常高，但是單卷最大容量被程序限制到30G，建議存儲(chǔ)文件以100MB以內(nèi)為主。

10、Ceph
Ceph是Red Hat旗下一個(gè)成熟的分布式文件系統(tǒng)，而且還是一個(gè)有企業(yè)級(jí)功能的對(duì)象存儲(chǔ)生態(tài)環(huán)境。該系統(tǒng)具備高性能、高可用性、高可擴(kuò)展性、實(shí)時(shí)存儲(chǔ)性等特點(diǎn)。雖然ceph很強(qiáng)大，但是學(xué)習(xí)成本高、安裝運(yùn)維復(fù)雜。Ceph用C++編寫(xiě)，存儲(chǔ)容量可輕松達(dá)到PB級(jí)別。

11、GlusterFS
GlusterFS 是由美國(guó)的 Gluster 公司開(kāi)發(fā)的 POSIX 分布式文件系統(tǒng)（以 GPL 開(kāi)源），它主要應(yīng)用在集群系統(tǒng)中，具有高擴(kuò)展性、高可用性、高性能、可橫向擴(kuò)展等特點(diǎn)，并且其沒(méi)有元數(shù)據(jù)服務(wù)器的設(shè)計(jì)，讓整個(gè)服務(wù)沒(méi)有單點(diǎn)故障的隱患。該系統(tǒng)主要是為中大型文件設(shè)計(jì)的，存儲(chǔ)容量可輕松達(dá)到PB。它存在擴(kuò)容縮容影響服務(wù)器較多、遍歷目錄下文件耗時(shí)、小文件性能較差的缺點(diǎn)。

以上就是“l(fā)inux有什么分布式文件系統(tǒng)”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家閱讀完這篇文章都有很大的收獲，小編每天都會(huì)為大家更新不同的知識(shí)，如果還想學(xué)習(xí)更多的知識(shí)，請(qǐng)關(guān)注億速云行業(yè)資訊頻道。