GFS分布式文件系統(tǒng)集群(實例!!!)

發(fā)布時間：2020-06-07 09:10:07 來源：網(wǎng)絡閱讀：586 作者：caozhengtao1213 欄目：系統(tǒng)運維

GlusterFS概述

 開源的分布式文件系統(tǒng)
 由存儲服務器、客戶端以及NFS/Samba存儲網(wǎng)關(guān)組成
 無元數(shù)據(jù)服務器（數(shù)據(jù)傳輸組件RDMA）

GlusterFS特點

 擴展性、高性能、高可用性
 全局統(tǒng)一命名空間
 彈性卷管理---->云的特性：水平（實例數(shù)）、垂直（硬件性能）
ECS（虛擬）、OSS和RDS（裸金屬）
 基于標準協(xié)議

GlusterFS術(shù)語

 Brick（節(jié)點）
 Volume（卷）
 FUSE（用戶端交互模塊）
 VFS（虛擬化文件系統(tǒng)）
 Glusterd（服務）

模塊化堆棧式架構(gòu)

 模塊化、堆棧式的架構(gòu)
 通過對模塊的組合，實現(xiàn)復雜的功能

GFS分布式文件系統(tǒng)集群(實例!!!)

GlusterFS工作原理

GlusterFS工作流程

GFS分布式文件系統(tǒng)集群(實例!!!)

彈性HASH算法

 通過HASH算法得到一個32位的整數(shù)
 劃分為N個連續(xù)的子空間，每個空間對應一個Brick
 彈性HASH算法的優(yōu)點：
保證數(shù)據(jù)平均分布在每一個Brick中
解決了對元數(shù)據(jù)服務器的依賴，進而解決了單點故障以及訪問瓶頸

GlusterFS的卷類型

1.分布式卷（fastdfs和gfs搭建）

沒有對文件進行分塊處理
通過擴展文件屬性保存HASH值
支持的底層文件系統(tǒng)有ext3、ext4、 ZFS、 XFS等

GFS分布式文件系統(tǒng)集群(實例!!!)
分布式卷的特點

●文件分布在不同的服務器，不具備冗余性
●更容易和廉價地擴展卷的大小
●單點故障會造成數(shù)據(jù)丟失
●依賴底層的數(shù)據(jù)保護

2.條帶卷

●根據(jù)偏移量將文件分成N塊(N個條帶節(jié)點)，輪詢的存儲在每個Brick
Server節(jié)點
●存儲大文件時，性能尤為突出
●不具備冗余性，類似Raid0

條帶卷的特點

●數(shù)據(jù)被分割成更小塊分布到塊服務器群中的不同條帶區(qū)
●分布減少了負載且更小的文件加速了存取的速度
●沒有數(shù)據(jù)冗余

3. 復制卷

●同一文件保存一份或多分副本
●復制模式因為要保存副本，所以磁盤利用率較低
●多個節(jié)點上的存儲空間不一致， 那么將按照木桶效應取最低節(jié)點的容量
●作為該卷的總?cè)萘?/code>


復制卷的特點
●卷中所有的服務器均保存一個完整的副本
●卷的副本數(shù)量可由客戶創(chuàng)建的時候決定
●至少由兩個塊服務器或更多服務器
●具備冗余性

4.分布式條帶卷
●兼顧分布式卷和條帶卷的功能
●主要用于大文件訪問處理
●至少最少需要4臺服務器

5.分布式復制卷
●兼顧分布式卷和復制卷的功能
●用于需要冗余的情況下

群集環(huán)境

卷類型



卷名稱
卷類型
空間大小
Brick




dis-volume
分布式卷
40G
node1(/b1)、node2(/b1)


stripe-volume
條帶卷
40G
node1(/c1)、node2(/c1)


rep-volume
復制卷
20G
node3(/b1)、node4(/b1)


dis-stripe
分布式條帶卷
40G
node1(/d1)、node2(/d1)、node3(/d1)、node4(/d1)


dis-rep
分布式復制卷
20G
node1(/e1)、node2(/e1)、node3(/e1)、node4(/e1)



實驗準備
1、為四臺服務器服務器每臺添加4個磁盤

2、修改服務器的名稱
分別修改為node1、node2、node3、node4
[root@localhost ~]#hostnamectl set-hostname node1
[root@localhost ~]# su
3、將四臺服務器上的磁盤格式化，并掛載
在這里我們使用腳本執(zhí)行掛載
#進入opt目錄
[root@node1 ~]# cd /opt
#磁盤格式化、掛載腳本
[root@node1 opt]# vim a.sh
#! /bin/bash
echo "the disks exist list:"
fdisk -l |grep '磁盤 /dev/sd[a-z]'
echo "=================================================="
PS3="chose which disk you want to create:"
select VAR in `ls /dev/sd*|grep -o 'sd[b-z]'|uniq` quit
do
    case $VAR in
    sda)
        fdisk -l /dev/sda
        break ;;
    sd[b-z])
        #create partitions
        echo "n
                p

                w"  | fdisk /dev/$VAR

        #make filesystem
        mkfs.xfs -i size=512 /dev/${VAR}"1" &> /dev/null
    #mount the system
        mkdir -p /data/${VAR}"1" &> /dev/null
        echo -e "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0\n" >> /etc/fstab
        mount -a &> /dev/null
        break ;;
    quit)
        break;;
    *)
        echo "wrong disk,please check again";;
    esac
done
#給于腳本執(zhí)行權(quán)限
[root@node1 opt]# chmod +x a.sh
將腳本通過scp推送到其他三臺服務器上
scp a.sh root@192.168.45.134:/opt
scp a.sh root@192.168.45.130:/opt
scp a.sh root@192.168.45.136:/opt
在四臺服務器上執(zhí)行腳本，并完成
這個只是樣本
[root@node1 opt]# ./a.sh
the disks exist list:
==================================================
1) sdb
2) sdc
3) sdd
4) sde
5) quit
chose which disk you want to create:1      //選擇要格式化的盤
Welcome to fdisk (util-linux 2.23.2).

Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.

Device does not contain a recognized partition table
Building a new DOS disklabel with disk identifier 0x37029e96.

Command (m for help): Partition type:
   p   primary (0 primary, 0 extended, 4 free)
   e   extended
Select (default p): Partition number (1-4, default 1): First sector (2048-41943039, default 2048): Using default value 2048
Last sector, +sectors or +size{K,M,G} (2048-41943039, default 41943039): Using default value 41943039
Partition 1 of type Linux and of size 20 GiB is set

Command (m for help): The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.

分別在四個服務器上查看掛載情況

4、設(shè)置hosts文件
在第一臺node1上修改
#在文件末尾添加
vim /etc/hosts
192.168.45.133 node1
192.168.45.130 node2
192.168.45.134 node3
192.168.45.136 node4
通過scp將hosts文件推送給其他服務器和客戶端
#將/etc/hosts文件推送給其他主機
[root@node1 opt]# scp /etc/hosts root@192.168.45.130:/etc/hosts
root@192.168.45.130's password: 
hosts                                      100%  242    23.6KB/s   00:00    
[root@node1 opt]# scp /etc/hosts root@192.168.45.134:/etc/hosts
root@192.168.45.134's password: 
hosts                                      100%  242   146.0KB/s   00:00    
[root@node1 opt]# scp /etc/hosts root@192.168.45.136:/etc/hosts
root@192.168.45.136's password: 
hosts                                      100%  242   146.0KB/s   00:00
在其他服務器上查看推送情況

關(guān)閉所有服務器和客戶端的防火墻
[root@node1 ~]# systemctl stop firewalld.service 
[root@node1 ~]# setenforce 0
在客戶端和服務器上搭建yum倉庫
#進入yum文件路徑
[root@node1 ~]# cd /etc/yum.repos.d/
#創(chuàng)建一個空文件夾
[root@node1 yum.repos.d]# mkdir abc
#將CentOS-文件全部移到到abc下
[root@node1 yum.repos.d]# mv CentOS-* abc
#創(chuàng)建私有yum源
[root@node1 yum.repos.d]# vim GLFS.repo
[demo]
name=demo
baseurl=http://123.56.134.27/demo
gpgcheck=0
enable=1

[gfsrepo]
name=gfsrepo
baseurl=http://123.56.134.27/gfsrepo
gpgcheck=0
enable=1

#重新加載yum源
[root@node1 yum.repos.d]# yum list

安裝必要軟件包
[root@node1 yum.repos.d]# yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma

在其他三臺上進行同樣的操作
在四臺服務器上啟動glusterd，并設(shè)置為開機自啟動
[root@node1 yum.repos.d]# systemctl start glusterd.service 
[root@node1 yum.repos.d]# systemctl enable glusterd.service
添加節(jié)點信息
[root@node1 yum.repos.d]# gluster peer probe node2
peer probe: success. 
[root@node1 yum.repos.d]# gluster peer probe node3
peer probe: success. 
[root@node1 yum.repos.d]# gluster peer probe node4
peer probe: success. 

在其他服務器上查看節(jié)點信息
[root@node1 yum.repos.d]# gluster peer status

創(chuàng)建分布式卷
#創(chuàng)建分布式卷
[root@node1 yum.repos.d]# gluster volume create dis-vol node1:/data/sdb1 node2:/data/sdb1 force
#檢查信息
[root@node1 yum.repos.d]# gluster volume info dis-vol
#查看分布式現(xiàn)有卷
[root@node1 yum.repos.d]# gluster volume list
#啟動卷
[root@node1 yum.repos.d]# gluster volume start dis-vol 
在客戶端上掛載
#遞歸創(chuàng)建掛載點
[root@manager yum.repos.d]# mkdir -p /text/dis
#將剛才創(chuàng)建的卷掛載到剛才創(chuàng)建的掛載點下
[root@manager yum.repos.d]# mount.glusterfs node1:dis-vol /text/dis
```![在這里插入圖片描述](https://img-blog.csdnimg.cn/20191218165913488.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1BhcmhvaWE=,size_16,color_FFFFFF,t_70)
### 創(chuàng)建條帶卷
```sql
#創(chuàng)建卷
[root@node1 yum.repos.d]# gluster volume create stripe-vol stripe 2 node1:/data/sdc1 node2:/data/sdc1 force
#查看現(xiàn)有卷
[root@node1 yum.repos.d]# gluster volume list
dis-vol
stripe-vol
#啟動條帶卷
[root@node1 yum.repos.d]# gluster volume start stripe-vol 
volume start: stripe-vol: success
在客戶端掛載
#創(chuàng)建掛載點
[root@manager yum.repos.d]# mkdir /text/strip
#掛載條帶卷
[root@manager yum.repos.d]# mount.glusterfs node1:/stripe-vol /text/strip/
創(chuàng)建復制卷
#創(chuàng)建復制卷
[root@node1 yum.repos.d]# gluster volume create rep-vol replica 2 node3:/data/sdb1 node4:/data/sdb1 force
volume create: rep-vol: success: please start the volume to access data
#開啟復制卷
[root@node1 yum.repos.d]# gluster volume start rep-vol 
volume start: rep-vol: success
在客戶機掛礙復制卷
[root@manager yum.repos.d]# mkdir /text/rep
[root@manager yum.repos.d]# mount.glusterfs node3:rep-vol /text/rep
創(chuàng)建分布式條帶
#創(chuàng)建分布式條帶卷
[root@node1 yum.repos.d]# gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force
volume create: dis-stripe: success: please start the volume to access data
#啟動分布式條帶卷
[root@node1 yum.repos.d]# gluster volume start dis-stripe 
volume start: dis-stripe: success
在客戶機上掛載
[root@manager yum.repos.d]# mkdir /text/dis-strip
[root@manager yum.repos.d]# mount.glusterfs node4:dis-stripe /text/dis-strip/
創(chuàng)建分布式復制卷
#創(chuàng)建分布式復制卷
[root@node2 yum.repos.d]# gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force
volume create: dis-rep: success: please start the volume to access data
#開啟復制卷
[root@node2 yum.repos.d]# gluster volume start dis-rep 
volume start: dis-rep: success
# 查看現(xiàn)有卷
[root@node2 yum.repos.d]# gluster volume list
dis-rep
dis-stripe
dis-vol
rep-vol
stripe-vol

在客戶端掛載
[root@manager yum.repos.d]# mkdir /text/dis-rep
[root@manager yum.repos.d]# mount.glusterfs node3:dis-rep /text/dis-rep/
------------------------上邊我們完成了卷的創(chuàng)建和掛載,現(xiàn)在我們來進行卷的測試
首先在客戶機上創(chuàng)建5個40M的文件
[root@manager yum.repos.d]# dd if=/dev/zero of=/demo1.log bs=1M count=40
40+0 records in
40+0 records out
41943040 bytes (42 MB) copied, 0.0175819 s, 2.4 GB/s
[root@manager yum.repos.d]# dd if=/dev/zero of=/demo2.log bs=1M count=40
40+0 records in
40+0 records out
41943040 bytes (42 MB) copied, 0.269746 s, 155 MB/s
[root@manager yum.repos.d]# dd if=/dev/zero of=/demo3.log bs=1M count=40
40+0 records in
40+0 records out
41943040 bytes (42 MB) copied, 0.34134 s, 123 MB/s
[root@manager yum.repos.d]# dd if=/dev/zero of=/demo4.log bs=1M count=40
40+0 records in
40+0 records out
41943040 bytes (42 MB) copied, 1.55335 s, 27.0 MB/s
[root@manager yum.repos.d]# dd if=/dev/zero of=/demo5.log bs=1M count=40
40+0 records in
40+0 records out
41943040 bytes (42 MB) copied, 1.47974 s, 28.3 MB/s

然后復制5個文件到不同的卷上
[root@manager yum.repos.d]# cp /demo* /text/dis
[root@manager yum.repos.d]# cp /demo* /text/strip
[root@manager yum.repos.d]# cp /demo* /text/rep
[root@manager yum.repos.d]# cp /demo* /text/dis-strip
[root@manager yum.repos.d]# cp /demo* /text/dis-rep

查看卷的內(nèi)容
查看分布式卷



查看條帶卷



查看復制卷



查看分布式條帶卷





查看分布式復制卷





故障測試
關(guān)閉node2服務器觀察結(jié)果
[root@manager yum.repos.d]#  ls /text/
dis  dis-rep  dis-strip  rep  strip
[root@manager yum.repos.d]# ls /text/dis
demo1.log  demo2.log  demo3.log  demo4.log
[root@manager yum.repos.d]# ls /text/dis-rep
demo1.log  demo2.log  demo3.log  demo4.log  demo5.log
[root@manager yum.repos.d]# ls /text/dis-strip/
demo5.log
[root@manager yum.repos.d]# ls /text/rep/
demo1.log  demo2.log  demo3.log  demo4.log  demo5.log
[root@manager yum.repos.d]# ls /text/strip/
[root@manager yum.repos.d]# 

結(jié)論:
 - 分布卷缺少demo5.log文件
 - 條帶卷無法訪問
 - 復制卷正常訪問
 - 分布式條帶卷缺少文件
 - 分布式復制卷正常訪問
刪除卷
要刪除卷需要先停止卷，在刪除卷的時候，卷組必須處于開啟狀態(tài)
#停止卷
[root@manager yum.repos.d]# gluster volume delete dis-vol
#刪除卷
[root@manager yum.repos.d]# gluster volume delete dis-vol
訪問控制
#僅拒絕
[root@manager yum.repos.d]# gluster volume set dis-vol auth.reject 192.168.45.133
#僅允許
[root@manager yum.repos.d]# gluster volume set dis-vol auth.allow 192.168.45.133
謝謝閱讀!!!

卷名稱	卷類型	空間大小	Brick
dis-volume	分布式卷	40G	node1(/b1)、node2(/b1)
stripe-volume	條帶卷	40G	node1(/c1)、node2(/c1)
rep-volume	復制卷	20G	node3(/b1)、node4(/b1)
dis-stripe	分布式條帶卷	40G	node1(/d1)、node2(/d1)、node3(/d1)、node4(/d1)
dis-rep	分布式復制卷	20G	node1(/e1)、node2(/e1)、node3(/e1)、node4(/e1)


            向AI問一下細節(jié)
            
                推薦閱讀：
                
                                                                        
                                c++ main函數(shù)的返回值是什么類型？
                            
                                                                                                
                                PXC+haproxy+keepalived環(huán)境搭建
                            
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    
            
            
            
                免責聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。
                
                
                    
                                                    gfs分布式文件系統(tǒng)集群
                                                    gfs
                                                    gf
                                            
                
            
            
                
                                            上一篇新聞：excel學習筆記之一
                                                                下一篇新聞：【Oracle Database】Oracle RAC（四）：DBMS
                                    
            
            
                
                    猜你喜歡
                
                
                    
                                                    php中g(shù)lobal的用法是什么
                                                    php中的function函數(shù)怎么使用
                                                    PHP怎么獲取用戶輸入的字符串
                                                    python中type函數(shù)的使用方法是什么
                                                    python怎么計算奇數(shù)偶數(shù)和
                                                    怎么用Python輸入n個整數(shù)求和
                                                    c語言double型變量怎么轉(zhuǎn)換
                                                    c語言double型變量有哪些特點
                                                    c語言強制類型轉(zhuǎn)換的規(guī)則是什么
                                                    c語言項目如何保存成文件


        

            
            
                
                    
                        最新資訊
                    
                    
                        
                                                            PHP日志記錄如何避免Log4j類似漏洞
                                                            PHP日志管理策略調(diào)整防范Log4j風險
                                                            Log4j事件對PHP日志安全的影響分析
                                                            PHP日志系統(tǒng)如何預防遠程代碼執(zhí)行
                                                            PHP日志處理Log4j之外的安心之選
                                                            Log4j漏洞后PHP日志審計要點
                                                            PHP日志管理新方向：后Log4j時代
                                                            PHP項目如何確保日志安全非Log4j
                                                            PHP日志記錄策略調(diào)整應對Log4j
                                                            Log4j漏洞啟示：PHP日志安全加固
                                                    
                    
                
                
                    
                        相關(guān)推薦
                    
                    
                        
                                                                                                                                                                                                                        Numpy如何實現(xiàn)矩陣運算及線性代數(shù)應用
                                                                                                                                如何解決go Fscanf在讀取文件時出現(xiàn)的問題
                                                                                                                                怎么使用docker在linux環(huán)境中部署springboot包
                                                                                                                                Spring ApplicationContext加載過程的示例分析
                                                                                                                                PHP引擎php.ini參數(shù)優(yōu)化的示例分析
                                                                                                                                numpy如何實現(xiàn)數(shù)組合并和矩陣拼接
                                                                                                                                使用Golang進行并發(fā)編程的示例
                                                                                                                                css中怎么設(shè)置英文首字母大寫
                                                                                                                                sublime如何運行代碼
                                                                                                                                出現(xiàn)cpu fan error錯誤指的是什么意思
                                                                                    
                    
                
                
                    
                        相關(guān)標簽
                    
                    
                                                    分布式事務
                                                    分布式數(shù)據(jù)庫
                                                    分布式計算
                                                    分布式存儲
                                                    kvm+gfs
                                                    磁盤管理與文件系統(tǒng)
                                                    分布式文件存儲
                                                    偽分布式
                                                    分布式緩存
                                                    分布式集群
                                                    分布式文件系統(tǒng)
                                                    分布式秒殺
                                                    gfs分布式文件存儲系統(tǒng)
                                                    分布式id
                                                    分布式監(jiān)控
                                                    mfs分布式文件系統(tǒng)
                                                    redis分布式鎖
                                                    分布式部署
                                                    分布式文件
                                                    分布式爬蟲

GFS分布式文件系統(tǒng)集群(實例!!!)

GlusterFS概述

GlusterFS特點

GlusterFS術(shù)語

模塊化堆棧式架構(gòu)

GlusterFS工作原理

GlusterFS工作流程

彈性HASH算法

GlusterFS的卷類型

群集環(huán)境

卷類型

實驗準備

1、為四臺服務器服務器每臺添加4個磁盤

2、修改服務器的名稱

3、將四臺服務器上的磁盤格式化，并掛載

分別在四個服務器上查看掛載情況

4、設(shè)置hosts文件

關(guān)閉所有服務器和客戶端的防火墻

在客戶端和服務器上搭建yum倉庫

安裝必要軟件包

在四臺服務器上啟動glusterd，并設(shè)置為開機自啟動

添加節(jié)點信息

創(chuàng)建分布式卷

在客戶端上掛載

在客戶端掛載

創(chuàng)建復制卷

創(chuàng)建分布式條帶

創(chuàng)建分布式復制卷

在客戶端掛載

------------------------上邊我們完成了卷的創(chuàng)建和掛載,現(xiàn)在我們來進行卷的測試

首先在客戶機上創(chuàng)建5個40M的文件

然后復制5個文件到不同的卷上

查看卷的內(nèi)容

查看分布式卷

查看條帶卷

查看復制卷

查看分布式條帶卷

查看分布式復制卷

故障測試

關(guān)閉node2服務器觀察結(jié)果

結(jié)論:

刪除卷

訪問控制

謝謝閱讀!!!

猜你喜歡

最新資訊

相關(guān)推薦

相關(guān)標簽

1、為四臺服務器服務器每臺添加4個磁盤

2、修改服務器的名稱

3、將四臺服務器上的磁盤格式化，并掛載

4、設(shè)置hosts文件

在四臺服務器上啟動glusterd，并設(shè)置為開機自啟動