MFS分布式文件系統(tǒng)搭建與監(jiān)控詳解

MFS介紹

官網(wǎng)地址：http://www.moosefs.com/

MooseFS是一個具有容錯性的網(wǎng)絡(luò)分布式文件系統(tǒng)。

它把數(shù)據(jù)分散存放在多個物理服務(wù)器上，而呈現(xiàn)給用戶的則是一個統(tǒng)一的資源。通用文件系統(tǒng),不需要修改上層應(yīng)用就可以使用，通過附加新的計算機(jī)或者硬盤可以實(shí)現(xiàn)容量的動態(tài)擴(kuò)展，體系架構(gòu)可伸縮性極強(qiáng)，刪除的文件可以根據(jù)配置的時間周期進(jìn)行保留（一個文件系統(tǒng)級別的回收站），高可靠（數(shù)據(jù)的多個拷貝被存儲在不同的計算機(jī)上），提供 web 監(jiān)控接口，提高隨機(jī)讀或?qū)懙男剩岣吆Ａ啃∥募淖x寫效率。但是mfs 把文件系統(tǒng)的結(jié)構(gòu)緩存到 master 的內(nèi)存中,文件越多,master 的內(nèi)存消耗越大,8g 對應(yīng) 2500w 的文件數(shù),2 億文件就得 64GB 內(nèi)存。支持特殊文件（塊和字符設(shè)備、管道以及套接字），符號連接和硬連接。

包括以下四種角色：

實(shí)驗(yàn)環(huán)境介紹

基本環(huán)境表

拓?fù)鋱D

操作步驟

• 五臺虛擬機(jī)模擬搭建MFS文件系統(tǒng)

• 關(guān)閉防火墻及selinux

  systemctl stop firewalld
  setenforce 0

   

  搭建Master Server

  安裝軟件

  curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加鍵值
  curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加適當(dāng)?shù)膸鞐l目
  yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli –y

  配置文件解釋

  cd /etc/mfs/

  -rw-r--r--. 1 root root 4057 9月  27 15:18 mfsexports.cfg        //輸出目錄配置文件
  -rw-r--r--. 1 root root 4057 7月  20 19:16 mfsexports.cfg.sample
  -rw-r--r--. 1 root root 9015 9月  27 15:18 mfsmaster.cfg         //Master配置文件
  -rw-r--r--. 1 root root 9015 7月  20 19:16 mfsmaster.cfg.sample
  -rw-r--r--. 1 root root 1052 9月  27 15:18 mfstopology.cfg      //元數(shù)據(jù)日志
  -rw-r--r--. 1 root root 1052 7月  20 19:16 mfstopology.cfg.sample
  

  啟動服務(wù)

  systemctl start moosefs-master
  systemctl enable moosefs-master
  netstat -ntap | grep mfs

  tcp        0      0 0.0.0.0:9419            0.0.0.0:*               LISTEN      6217/mfsmaster     
  tcp        0      0 0.0.0.0:9420            0.0.0.0:*               LISTEN      6217/mfsmaster     
  tcp        0      0 0.0.0.0:9421            0.0.0.0:*               LISTEN      6217/mfsmaster    

   

  搭建MetalLogger Server

  安裝

  curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加鍵值
  curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加適當(dāng)?shù)膸鞐l目
  yum install moosefs-metalogger –y

  修改配置文件

  vim /etc/mfs/mfsmetalogger.cfg

  MASTER_HOST = 192.168.137.10          //第52行，去除注釋，改地址指向主服務(wù)器。

  啟動服務(wù)

  systemctl start moosefs-metalogger
  systemctl enable moosefs-metalogger
  netstat -ntap | grep mfs

  tcp        0      0 192.168.137.11:36766    192.168.137.10:9419     ESTABLISHED 73521/mfsmetalogger

  搭建Chunk Server

  這兩臺Chunk Server的搭建步驟是完全相同

  安裝

  curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加鍵值
  curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加適當(dāng)?shù)膸鞐l目
  yum install moosefs-chunkserver –y

  修改配置文件

  修改一

  vim /etc/mfs/mfschunkserver.cfg

  MASTER_HOST = 192.168.137.10     //第77行，將地址指向主服務(wù)器

  修改二

  vim /etc/mfs/mfshdd.cfg
  /gongxiang            //在末行添加共享目錄

  mkdir /gongxiang      //創(chuàng)建共享目錄

  chown -R mfs:mfs /gongxiang    //為共享目錄授權(quán)

  啟動服務(wù)

  systemctl start moosefs-chunkserver
  systemctl enable moosefs-chunkserver
  netstat -ntap | grep mfs

  tcp        0      0 0.0.0.0:9422            0.0.0.0:*               LISTEN      71921/mfschunkserve
  tcp        0      0 192.168.137.13:59006    192.168.137.10:9420     ESTABLISHED 71921/mfschunkserve

  Client的搭建

  安裝

  curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加鍵值
  curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加適當(dāng)?shù)膸鞐l目
  yum install moosefs-client –y

  加載fuse模塊至內(nèi)核

  modprobe fuse

  掛載共享目錄

  mkdir /opt/mfs    //創(chuàng)建掛載點(diǎn)
  mfsmount /opt/mfs/ -H 192.168.137.10  //掛載，地址為master地址

  df –h

  文件系統(tǒng)             容量  已用  可用 已用% 掛載點(diǎn)
  /dev/sda6             21G  4.1G   17G   20% /
  devtmpfs             896M     0  896M    0% /dev
  tmpfs                911M     0  911M    0% /dev/shm
  tmpfs                911M   11M  900M    2% /run
  tmpfs                911M     0  911M    0% /sys/fs/cgroup
  /dev/sda2            9.8G   33M  9.8G    1% /opt
  /dev/sda3            4.9G   89M  4.8G    2% /home
  /dev/sda1           1014M  165M  850M   17% /boot
  tmpfs                183M   64K  183M    1% /run/user/1000
  tmpfs                183M     0  183M    0% /run/user/0
  192.168.137.10:9421   58G  8.1G   50G   14% /opt/mfs

   

• MFS監(jiān)控

• 主服務(wù)器上開啟監(jiān)控

• mfscgiserv
  lockfile created and locked
  starting simple cgi server (host: any , port: 9425 , rootpath: /usr/share/mfscgi)

   

  訪問192.168.137.10：9425      主機(jī)地址

  填寫主服務(wù)器地址

  
  界面