溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

MFS分布式文件系統(tǒng)(實(shí)例!!!)

發(fā)布時(shí)間：2020-06-23 02:48:27 來(lái)源：網(wǎng)絡(luò) 閱讀：216 作者：caozhengtao1213 欄目：系統(tǒng)運(yùn)維

MFS分布式文件系統(tǒng)

mfs工作原理

分布式原理

分布式文件系統(tǒng)就是把一些分散在多臺(tái)計(jì)算機(jī)上的共享文件夾，集合到一個(gè)共享文件夾內(nèi)，用戶要訪問(wèn)這些文件夾的時(shí)候，只要打開(kāi)一個(gè)文件夾，就可以的看到所有鏈接到此文件夾內(nèi)的共享文件夾。

MFS原理

MFS是一個(gè)具有容錯(cuò)性的網(wǎng)絡(luò)分布式文件系統(tǒng)，它把數(shù)據(jù)分散存放在多個(gè)物理服務(wù)器上，而呈現(xiàn)給用戶的則是一個(gè)統(tǒng)一的資源。

MFS的組成

  • 元數(shù)據(jù)服務(wù)器（Master）：在整個(gè)體系中負(fù)責(zé)管理文件系統(tǒng)，維護(hù)元數(shù)據(jù)，目前不支持高可用。
  • 元數(shù)據(jù)日志服務(wù)器（MetaLogger）：備份Master服務(wù)器的變化日志文件，當(dāng)master服務(wù)器損壞，可以從日志服務(wù)器中取得文件恢復(fù)。
  • 數(shù)據(jù)存儲(chǔ)服務(wù)器（Chunk Server）：真正存儲(chǔ)數(shù)據(jù)的服務(wù)器，服務(wù)器越多，容量就越大，可靠性越高，性能越好。
  • 客戶端（Client）： 可以像掛載NFS一樣 掛載MFS文件系統(tǒng)
    MFS分布式文件系統(tǒng)(實(shí)例!!!)

    MFS讀數(shù)據(jù)的處理過(guò)程

  • 客戶端向元數(shù)據(jù)服務(wù)器發(fā)出讀請(qǐng)求
  • 元數(shù)據(jù)服務(wù)器把所需數(shù)據(jù)存放的位置（Chunk Server的IP地址和Chunk編號(hào)）告知客戶端
  • 客戶端向已知的Chunk Server請(qǐng)求發(fā)送數(shù)據(jù)
  • Chunk Server向客戶端發(fā)送數(shù)據(jù) 
    ### 寫(xiě)入的過(guò)程
  • 客戶端向元數(shù)據(jù)服務(wù)器發(fā)送寫(xiě)入請(qǐng)求
  • 元數(shù)據(jù)服務(wù)器與Chunk Server進(jìn)行交互，但元數(shù)據(jù)服務(wù)器只在某些服務(wù)器創(chuàng)建新的分塊Chunks，創(chuàng)建成功后由hunk Servers告知元數(shù)據(jù)服務(wù)器操作成功
  • 元數(shù)據(jù)服務(wù)器告知客戶端，可以在哪個(gè)Chunk Server的哪些Chunks寫(xiě)入數(shù)據(jù)
  • 客戶端向指定的Chunk Server寫(xiě)入數(shù)據(jù)
  • 該Chunk Server與其他Chunk Server進(jìn)行數(shù)據(jù)同步，同步成功后Chunk Server告知客戶端數(shù)據(jù)寫(xiě)入成功
  • 客戶端告知元數(shù)據(jù)服務(wù)器本次寫(xiě)入完畢 
    
#### 實(shí)驗(yàn)環(huán)境：
|服務(wù)器節(jié)點(diǎn)名稱|IP地址|
|--|--|
|master|192.168.45.133|
|masterlogger|192.168.45.130|
|chunk1|192.168.45.136|
|chunk2|192.168.45.134|
|client|192.168.45.135|

第一步:部署master服務(wù)器

#關(guān)閉防火墻
[root@localhost ~]# systemctl stop firewalld.service 
[root@localhost ~]# setenforce 0
#安裝組件
[root@localhost ~]# yum install zlib-devel gcc gcc-c++ -y
#掛載mfs必要軟件包
[root@localhost ~]# mount.cifs //192.168.100.3/lzp /mnt
Password for root@//192.168.100.3/lzp:  
[root@localhost ~]# cd /mnt/mfs
#解壓安裝包
[root@localhost mfs]# tar zxvf mfs-1.6.27-5.tar.gz -C /opt
[root@localhost mfs]# cd /opt/mfs-1.6.27/
[root@localhost mfs-1.6.27]# useradd -s /sbin/nologin mfs
[root@localhost mfs-1.6.27]# ./configure \
--prefix=/usr/local/mfs \   //指定安裝目錄
--with-default-user=mfs \          //指定程序運(yùn)行用戶   
--with-default-group=mfs \          //指定程序運(yùn)行組
--disable-mfschunkserver \            //禁用Chunk功能
--disable-mfsmount                     //禁用mfsmount功能

[root@localhost mfs-1.6.27]# make && make install

#復(fù)制文件，配置mfs文件
[root@localhost mfs-1.6.27]# cd /usr/local/mfs/etc/mfs/
[root@localhost mfs]# cp mfsmaster.cfg.dist mfsmaster.cfg
#權(quán)限
[root@localhost mfs]# cp mfsexports.cfg.dist mfsexports.cfg
#日志
[root@localhost mfs]# cp mfsmetalogger.cfg.dist mfsmetalogger.cfg

[root@localhost mfs]# cd /usr/local/mfs/var/mfs/
[root@localhost mfs]# cp metadata.mfs.empty metadata.mfs

#修改權(quán)限并啟動(dòng)
[root@localhost mfs]# chown -R mfs.mfs /usr/local/mfs
[root@localhost mfs]# /usr/local/mfs/sbin/mfsmaster start
#查看mfs端口是否開(kāi)啟
[root@localhost mfs]# ps -ef | grep mfs

#啟動(dòng)監(jiān)控，在所有全部搭建好之后再啟動(dòng)
[root@localhost mfs]# /usr/local/mfs/sbin/mfscgiserv

#查看服務(wù)端口狀態(tài)
[root@localhost mfs]# ps -ef | grep mfs

第二步：部署masterlogger日志節(jié)點(diǎn)

#關(guān)閉防火墻
[root@localhost ~]# systemctl stop firewalld.service 
[root@localhost ~]# setenforce 0
#安裝必要組件
[root@localhost ~]# yum install zlib-devel gcc gcc-c++ -y
#創(chuàng)建用戶
[root@localhost ~]# useradd mfs -s /sbin/nologin 
#掛載軟件包
[root@localhost ~]# mount.cifs //192.168.100.3/lzp /mnt
[root@localhost ~]# cd /mnt/mfs
#解壓安裝包
[root@localhost mfs]# tar zxvf mfs-1.6.27-5.tar.gz -C /opt
[root@localhost mfs]# cd /opt/mfs-1.6.27/

[root@localhost mfs-1.6.27]# ./configure \
--prefix=/usr/local/mfs \
--with-default-user=mfs \
--with-default-group=mfs \
--disable-mfschunkserver \
--disable-mfsmount

[root@localhost mfs-1.6.27]# make && make install
[root@localhost mfs-1.6.27]# cd /usr/local/mfs/etc/mfs/
[root@localhost mfs]# cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
[root@localhost mfs]# vim mfsmetalogger.cfg
#在第15行開(kāi)啟功能，然后地址指向master服務(wù)器地址
 MASTER_HOST = 192.168.45.133
#修改權(quán)限并啟動(dòng)
[root@localhost mfs]# chown -R mfs.mfs /usr/local/mfs/
[root@localhost mfs]# /usr/local/mfs/sbin/mfsmetalogger start

#查看端口開(kāi)啟情況
[root@localhost mfs]# ps -ef | grep mfs

第三步：部署存儲(chǔ)節(jié)點(diǎn)chunk1

root@localhost ~]# yum install zlib-devel gcc gcc-c++ -y
[root@localhost ~]# useradd -s /sbin/nologin mfs
[root@localhost ~]# mount.cifs //192.168.100.3/lzp /mnt
[root@localhost ~]# cd /mnt/mfs
#解壓安裝包
[root@localhost mfs]# tar zxvf mfs-1.6.27-5.tar.gz -C /opt
[root@localhost mfs]# cd /opt/mfs-1.6.27/

[root@localhost mfs-1.6.27]# ./configure \
--prefix=/usr/local/mfs \
--with-default-user=mfs \
--with-default-group=mfs \
--disable-mfsmaster \
--disable-mfsmount

[root@localhost mfs-1.6.27]# make && make install
[root@localhost mfs-1.6.27]# cd /usr/local/mfs/etc//mfs/
[root@localhost mfs]# cp mfschunkserver.cfg.dist mfschunkserver.cfg
[root@localhost mfs]# cp mfshdd.cfg.dist mfshdd.cfg

#修改，在第12行，開(kāi)啟，并將地址指向master地址
[root@localhost mfs]# vim mfschunkserver.cfg
 MASTER_HOST = 192.168.45.133
 #設(shè)置掛載目錄
[root@localhost mfs]# vim mfshdd.cfg
/data
[root@localhost mfs]# mkdir /data
[root@localhost mfs]# chown -R mfs:mfs /data
[root@localhost mfs]# /usr/local/mfs/sbin/mfschunkserver start

#查看端口開(kāi)啟情況
[root@localhost mfs]# ps -ef | grep mfs

第四步：部署存儲(chǔ)節(jié)點(diǎn)chunk2

[root@localhost ~]# yum install zlib-devel gcc gcc-c++ -y
[root@localhost ~]# useradd -s /sbin/nologin mfs
[root@localhost ~]# mount.cifs //192.168.100.3/lzp /mnt
[root@localhost ~]# cd /mnt/mfs
#解壓安裝包
[root@localhost mfs]# tar zxvf mfs-1.6.27-5.tar.gz -C /opt
[root@localhost mfs]# cd /opt/mfs-1.6.27/
#編譯安裝
[root@localhost mfs-1.6.27]# ./configure \
--prefix=/usr/local/mfs \
--with-default-user=mfs \
--with-default-group=mfs \
--disable-mfsmaster \
--disable-mfsmount

[root@localhost mfs-1.6.27]# make && make install
#復(fù)制并修改
[root@localhost mfs-1.6.27]# cd /usr/local/mfs/etc//mfs/
[root@localhost mfs]# cp mfschunkserver.cfg.dist mfschunkserver.cfg
[root@localhost mfs]# cp mfshdd.cfg.dist mfshdd.cfg
[root@localhost mfs]# vim mfschunkserver.cfg
 MASTER_HOST = 192.168.45.133
[root@localhost mfs]# vim mfshdd.cfg
/data
[root@localhost mfs]# mkdir /data
[root@localhost mfs]# chown -R mfs:mfs /data
[root@localhost mfs]# /usr/local/mfs/sbin/mfschunkserver start

#查看端口開(kāi)啟情況
[root@localhost mfs]# ps -ef | grep mfs

第五步：配置客戶端

# 關(guān)閉防火墻
[root@manager ~]# systemctl stop firewalld.service 
[root@manager ~]# setenforce 0
#安裝必要組件
[root@manager ~]# yum install gcc gcc-c++ zlib-devel -y
#掛載軟件包
[root@manager ~]# mount.cifs //192.168.100.3/lzp /mnt
[root@manager ~]# cd /mnt/mfs/
#解壓軟件包
[root@manager mfs]# tar zxvf fuse-2.9.2.tar.gz -C /opt
#編譯安裝
[root@manager mfs]# cd /opt/fuse-2.9.2/
[root@manager fuse-2.9.2]# ./configure
[root@manager fuse-2.9.2]# make && make install
#修改系統(tǒng)文件
[root@manager fuse-2.9.2]# vim /etc/profile
export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH
#重新加載
[root@manager fuse-2.9.2]# source /etc/profile
#創(chuàng)建用戶
[root@manager fuse-2.9.2]# useradd -s /sbin/nologin mfs
#解壓安裝包
[root@manager fuse-2.9.2]# cd /mnt/mfs/
[root@manager mfs]# tar zxvf mfs-1.6.27-5.tar.gz -C /opt
#編譯安裝
[root@manager mfs]# cd /opt/mfs-1.6.27/
[root@manager mfs-1.6.27]#  ./configure \
--prefix=/usr/local/mfs \
--with-default-user=mfs \
--with-default-group=mfs \
--disable-mfsmaster \
--disable-mfschunkserver \
--enable-mfsmount
[root@manager mfs-1.6.27]# make && make install
#創(chuàng)建掛載點(diǎn)
[root@manager mfs-1.6.27]# mkdir /opt/mfs
[root@manager mfs-1.6.27]# modprobe fuse
#掛載
[root@manager mfs-1.6.27]# /usr/local//mfs/bin/mfsmount /opt/mfs -H 192.168.45.133

# 優(yōu)化客戶端
[root@manager mfs-1.6.27]# vim /etc/profile
export PATH=/usr/local/mfs/bin:$PATH
[root@manager mfs-1.6.27]# source /etc/profile
# 備份
[root@manager mfs-1.6.27]# mfsgetgoal -r /opt/mfs/

#查看掛載信息
[root@manager mfs-1.6.27]# df -hT

查看分布式格局

MFS分布式文件系統(tǒng)(實(shí)例!!!)

使用瀏覽器訪問(wèn)http://192.168.45.133:9425

MFS分布式文件系統(tǒng)(實(shí)例!!!)

謝謝閱讀!!!

向AI問(wèn)一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手