如何實(shí)現(xiàn)基于cman+rgmanage+gfs2+iscsi+rbd 高可用文件共享環(huán)境搭建

如何實(shí)現(xiàn)基于cman+rgmanage+gfs2+iscsi+rbd 高可用文件共享環(huán)境搭建，針對(duì)這個(gè)問(wèn)題，這篇文章詳細(xì)介紹了相對(duì)應(yīng)的分析和解答，希望可以幫助更多想解決這個(gè)問(wèn)題的小伙伴找到更簡(jiǎn)單易行的方法。

一、 架構(gòu)圖

說(shuō)明：rbd以iscsi方式導(dǎo)出作為共享存儲(chǔ)。Iscsi target為10.20.18.111 iscsi intinator為10.20.15.163和10.20.15.164。cman+rgmanager管理nfs-server集群，gfs2為集群文件系統(tǒng)，管理集群內(nèi)文件的并行操作。

二、iscsi target配置

1. 安裝支持rbd的target

# rpm –ivh scsi-target-utils-1.0.38-48.bf6981.ceph.el6.x86_64.rpm
# service tgtd start

2. 檢查是否支持rbd

# sudo tgtadm --lld iscsi --op show --mode system
System:
State: ready
debug: off
LLDs:
iser: error
iscsi: ready
Backing stores:
rbd (bsoflags sync:direct)
rdwr (bsoflags sync:direct)
ssc
null
bsg
sg
sheepdog
Device types:
passthrough
tape
changer
controller
osd
cd/dvd
disk
iSNS:
iSNS=Off
iSNSServerIP=
iSNSServerPort=3205
iSNSAccessControl=Off

3. 配置rbd-tgt(準(zhǔn)備好Pool和rbd img)

#vi /etc/tgt/targets.conf
<target iqn.2015-05.rbdstore.example.com:iscsi>
driver iscsi
bs-type rbd
backing-store iscsi/iscsi-rbd # <iscsi-pool>/<iscsi-rbd-image>
</target>

4. 載入配置

# service tgtd reload
Updating target framework daemon configuration

三、配置iscsi客戶端（163/165兩臺(tái)機(jī)器）

1.安裝iscsi-initiator-utils

 # yum install iscsi-initiator-utils

2.發(fā)現(xiàn)target端共享設(shè)備

# iscsiadm -m discovery -t sendtargets -p 10.20.18.111
10.20.18.111:3260,1 iqn.2015-04.rbdstore.example.com:iscsi

3.Map target

# iscsiadm -m node -T iqn.2014-04.rbdstore.example.com:iscsi -p 10.20.18.111:3260 –loginLogging in to [iface: default, target: iqn.2014-04.rbdstore.example.com:iscsi, portal: 192.168.1.102,3260] (multiple)
Login to [iface: default, target: iqn.2014-04.rbdstore.example.com:iscsi, portal: 192.168.1.102,3260] successful.

4.查看磁盤(pán)設(shè)備（多了一個(gè)sda設(shè)備）

fdisk –l
Disk /dev/sda: 1073 MB, 1073741824 bytes
34 heads, 61 sectors/track, 1011 cylinders
Units = cylinders of 2074 * 512 = 1061888 bytes
Sector size (logical/physical): 512 bytes / 4194304 bytes
I/O size (minimum/optimal): 4194304 bytes / 4194304 bytes
Disk identifier: 0x00000000

四、配置cman+rgmanager

1. 配置hosts

# vi /etc/hosts
10.20.15.165 DEV-L0003557
10.20.15.163 CNSZOSD01

2. ssh互信

# ssh-keygen -t rsa -P ""
# ssh-copy-id -i .ssh/id_rsa.pub root@ CNSZOSD01

3. ntp同步

（兩個(gè)節(jié)點(diǎn)都配置）

4.安裝cman和rgmanager

# yum install cman rgmager -y

5.配置集群(一個(gè)節(jié)點(diǎn)執(zhí)行)

# ccs_tool create tcluster
# ccs_tool addnode CNSZOSD01-n 1
# ccs_tool addnode DEV-L0003557-n 2
# vi /etc/cluster/cluster.conf
<dlm enable_fencing="0"/>

6.copy集群配置

# scp /etc/cluster/cluster.conf initiator2:/etc/cluster/

7.兩個(gè)節(jié)點(diǎn)啟動(dòng)服務(wù)

# service cman start
# service rgmanager start

8.查看集群狀態(tài)（都o(jì)nline表示ok）

# clustat
Cluster Status for tcluster @ Fri May 8 13:53:40 2015
Member Status: Quorate
Member Name ID Status
------ ---- ---- ------
CNSZOSD01 1 Online
DEV-L0003557 2 Online, Local

五、配置gfs2

1.安裝gfs2

# yum install gfs2-utils

2.將/dev/sda設(shè)備格式化為gfs文件系統(tǒng)

# mkfs.gfs2 -j 2 -p lock_dlm -t tcluster:sda dev/sda

備注：gfs為日志文件系統(tǒng)，每個(gè)節(jié)點(diǎn)都要有一個(gè)日志，本次實(shí)驗(yàn)有兩個(gè)節(jié)點(diǎn)，所以創(chuàng)建兩個(gè)日志。tcluster為集群名稱、sda為鎖表名稱。

3.兩個(gè)節(jié)點(diǎn)掛載gfs2文件系統(tǒng)

# mount –t gfs2 –o _netdev,nodiratime,noatime /dev/sda /mnt

4.可以在兩個(gè)節(jié)點(diǎn)上測(cè)試文件讀寫(xiě)

六．clvm配置(兩臺(tái))

1．安裝

# yum install -y lvm2-cluster

2.啟用集群LVM

# lvmconf --enable-cluster

3.啟動(dòng)clvm服務(wù)

# service clvmd start

4.創(chuàng)建集群邏輯卷(/dev/sda未格式化之前操作)

# pvcreate /dev/sda 創(chuàng)建物理卷
# vgcreate clustervg /dev/sda 創(chuàng)建卷組
# lvcreate -L 500M -n clusterlv clustervg 創(chuàng)建邏輯卷
# mkfs.gfs2 -j 2 -p lock_dlm -t tcluster:lv /dev/clustervg/clusterlv
# mount /dev/clustervg/clusterlv /mnt

七、vip配置（略）

八、nfs配置

1.NFS服務(wù)器端配置

# yum -y install nfs-utils rpcbind
# yum install nfs-utils

2. NFS的配置文件定義： /etc/exports

# vim /etc/exports 
/mnt 10.20.*.*(rw,no_root_squash,no_all_squash,sync)

注：配置文件說(shuō)明：

/mnt 為共享的目錄，即rbd所掛目錄,使用絕對(duì)路徑.10.20.*.*允許客戶端訪問(wèn)的IP,（）里面為權(quán)限控制。

3.服務(wù)器端啟動(dòng)服務(wù)

# service rpcbind start
# service nfs start

4.客戶端掛載（網(wǎng)段為10.20.*.*的任意主機(jī)）

# mkdir /usr/local/nfstest

#配置生效

# exportfs -rv

5.客戶端測(cè)試掛載

# showmount -e 10.20.16.177

6.掛載

# mount -t nfs 10.20.16.177:/mnt /usr/local/nfstest

九、cifs\smb配置

1.安裝samba

 # yum install samba samba-client samba-swat

2．配置samba配置

(無(wú)需客戶端密碼驗(yàn)證的簡(jiǎn)單配置)

# vi /etc/samba/smb.conf
[global] //該設(shè)置與Samba服務(wù)整體運(yùn)行環(huán)境有關(guān)，它的設(shè)置項(xiàng)目針對(duì)所有共享資源

# ----------------------- Network Related Options -------------------------
#
# workgroup = NT-Domain-Name or Workgroup-Name, eg: MIDEARTH
#
# server string is the equivalent of the NT Description field
#
# netbios name can be used to specify a server name not tied to the hostname
workgroup = WORKGROUP //定義工作組，也就是windows中的工作組概念
server string = David Samba Server Version %v //定義Samba服務(wù)器的簡(jiǎn)要說(shuō)明
netbios name = DavidSamba //定義windows中顯示出來(lái)的計(jì)算機(jī)名稱
# --------------------------- Logging Options -----------------------------
#
# Log File let you specify where to put logs and how to split them up.
log file = /var/log/samba/log.%m //定義Samba用戶的日志文件，%m代表客戶端主機(jī)名
//Samba服務(wù)器會(huì)在指定的目錄中為每個(gè)登陸主機(jī)建立不同的日志文件
# ----------------------- Standalone Server Options ------------------------
#
# Scurity can be set to user, share(deprecated) or server(deprecated)
security = share //共享級(jí)別，用戶不需要賬號(hào)和密碼即可訪問(wèn)
#============================ Share Definitions ==============================
[public] //設(shè)置針對(duì)的是共享目錄個(gè)別的設(shè)置，只對(duì)當(dāng)前的共享資源起作用
comment = Public Stuff //對(duì)共享目錄的說(shuō)明文件，自己可以定義說(shuō)明信息
path = /mnt //用來(lái)指定共享的目錄，必選項(xiàng)
public = yes //所有人可查看,等效于guest ok = yes

3.windows客戶端訪問(wèn)

\\10.20.15.163\public

關(guān)于如何實(shí)現(xiàn)基于cman+rgmanage+gfs2+iscsi+rbd 高可用文件共享環(huán)境搭建問(wèn)題的解答就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，如果你還有很多疑惑沒(méi)有解開(kāi)，可以關(guān)注億速云行業(yè)資訊頻道了解更多相關(guān)知識(shí)。