FasterDFS分布式文件系統(tǒng)(實(shí)例!!!)

FasterDFS概述

? FastDFS是一個(gè)開源的輕量級分布式文件系統(tǒng)，它對文件進(jìn)行管理，功能包括：文件存儲(chǔ)、文件同步、文件訪問（文件上傳、文件下載）等，解決了大容量存儲(chǔ)和負(fù)載均衡的問題。特別適合以文件為載體的在線服務(wù)，如相冊網(wǎng)站、視頻網(wǎng)站等等。

? FastDFS為互聯(lián)網(wǎng)量身定制，充分考慮了冗余備份、負(fù)載均衡、線性擴(kuò)容等機(jī)制，并注重高可用、高性能等指標(biāo)，使用FastDFS很容易搭建一套高性能的文件服務(wù)器集群提供文件上傳、下載等服務(wù)。

? FastDFS服務(wù)端有兩個(gè)角色：跟蹤器（tracker）和存儲(chǔ)節(jié)點(diǎn)（storage）。跟蹤器主要做調(diào)度工作，在訪問上起負(fù)載均衡的作用。

? 跟蹤器和存儲(chǔ)節(jié)點(diǎn)都可以由一臺(tái)或多臺(tái)服務(wù)器構(gòu)成。跟蹤器和存儲(chǔ)節(jié)點(diǎn)中的服務(wù)器均可以隨時(shí)增加或下線而不會(huì)影響線上服務(wù)。其中跟蹤器中的所有服務(wù)器都是對等的，可以根據(jù)服務(wù)器的壓力情況隨時(shí)增加或減少。在卷中增加服務(wù)器時(shí)，同步已有的文件由系統(tǒng)自動(dòng)完成，同步完成后，系統(tǒng)自動(dòng)將新增服務(wù)器切換到線上提供服務(wù)。

實(shí)驗(yàn)環(huán)境

第一步:安裝libfastcommon服務(wù)（所有節(jié)點(diǎn)均進(jìn)行安裝）

1.安裝基礎(chǔ)環(huán)境包

yum -y install libevent  libevent-devel perl  make gcc zlib  zlib-devel pcre pcre-devel  gcc-c++  openssl-devel

2.安裝libfastcommon

wget https://github.com/happyfish200/libfastcommon/archive/V1.0.38.tar.gz
 tar zxf V1.0.38.tar.gz -C /opt/
cd /opt/libfastcommon-1.0.38/

3.編譯安裝

./make.sh && ./make.sh install

4.建立軟鏈接方便系統(tǒng)識別

ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

第二步:安裝FastDFS服務(wù)（所有節(jié)點(diǎn)均進(jìn)行安裝)

1.下載安裝fastDFS

wget https://github.com/happyfish200/fastdfs/archive/V5.11.tar.gz
 tar zxf V5.11.tar.gz -C /opt/
cd /opt/fastdfs-5.11/

2.編譯安裝

./make.sh && ./make.sh install

3.復(fù)制模板文件進(jìn)行修改

#切換配置文件模板路徑
cd /etc/fdfs/             
cp tracker.conf.sample tracker.conf
cp storage.conf.sample storage.conf
cp client.conf.sample client.conf

第三步:配置tracker監(jiān)控端

1.建立數(shù)據(jù)文件、日志文件存放目錄

 mkdir -m 755 -p /opt/fastdfs

2.修改tracker配置文件

vim /etc/fdfs/tracker.conf
#修改以下配置
port=22122         
#tracker服務(wù)默認(rèn)端口22122即可

base_path=/opt/fastdfs      
#tracker存儲(chǔ)data和log的跟路徑，必須提前創(chuàng)建好

http.server_port=8080 
#tracker服務(wù)器上啟動(dòng)http服務(wù)進(jìn)程

3.開啟服務(wù)并設(shè)置開機(jī)自啟

#開啟服務(wù)（命令支持start|stop|restart）
fdfs_trackerd /etc/fdfs/tracker.conf start
netstat -atnp | grep 22122

#設(shè)置開機(jī)自啟
vim  /etc/rc.local

#末行添加
fdfs_trackerd   /etc/fdfs/tracker.conf start 

#關(guān)閉防火墻和安全功能
systemctl stop firewalld
setenforce 0

第四步:配置storage服務(wù)端

1.建立數(shù)據(jù)文件、日志文件存放目錄

mkdir -m 755 -p /opt/fastdfs

2.修改storage配置文件

vim /etc/fdfs/storage.conf

group_name=group1        
#默認(rèn)組名，根據(jù)實(shí)際情況修改

port=23000       
#storge默認(rèn)23000，同一個(gè)組的storage端口號必須一致

base_path=/opt/fastdfs          
#storage日志文件的根路徑

store_path_count=1              
#與下面路徑個(gè)數(shù)相同，默認(rèn)為1

store_path0=/opt/fastdfs       
#提供的存儲(chǔ)路徑（默認(rèn)與日志文件存放在一起）

tracker_server=192.168.45.135:22122      
#tracker服務(wù)器IP

http.server_port=80            
#http訪問文件的端口默認(rèn)為8888，nginx中配置的監(jiān)聽端口保持一致

3.開啟服務(wù)并設(shè)置開機(jī)自啟

#開啟服務(wù)（命令支持start|stop|restart）
 fdfs_storaged  /etc/fdfs/storage.conf start
netstat -atnp | grep 23000

#設(shè)置開機(jī)自啟
vim  /etc/rc.local
#末行添加
fdfs_storaged   /etc/fdfs/storage.conf start 

#關(guān)閉防火墻和安全功能
systemctl stop firewalld
setenforce 0

4.檢查是否與tracker監(jiān)控端關(guān)聯(lián)成功

fdfs_monitor /etc/fdfs/storage.conf
Storage 1:
                id = 192.168.45.135
                ip_addr = 192.168.45.135 (storage)  ACTIVE
                http domain =

第五步:在storage端安裝nginx服務(wù)

1.安裝nginx及其組件

tar zxf nginx-1.12.0.tar.gz -C /opt/

2.下載fastdfs-nginx-module安裝包

wget https://github.com/happyfish200/fastdfs-nginx-module/archive/V1.20.tar.gz
tar zxf V1.20.tar.gz -C /opt/

3.編譯安裝

cd /opt/nginx-1.12.0
./configure --prefix=/usr/local/nginx --add-module=/opt/fastdfs-nginx-module-1.20/src/             
make && make install

解決報(bào)錯(cuò)的方案

報(bào)錯(cuò)信息:
/usr/include/fastdfs/fdfs_define.h:15:27: fatal error: common_define.h: No such file or directory
處理方法:
修改fastdfs-nginx-module-1.20/src/config文件，然后重新第7步開始
ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

4.配置fastdfs-nginx-module模塊

cd fastdfs-nginx-module-1.20/src
cp mod_fastdfs.conf /etc/fdfs/           
#移動(dòng)其配置文件至fdfs目錄下

#修改配置文件mod-fasts.conf
vim /etc/fdfs/mod_fastdfs.conf
#檢查以下配置
base_path=/opt/fastdfs         
#存放數(shù)據(jù)文件、日志的路徑

tracker_server=192.168.45.132:22122    
#tracker端的地址

url_have_group_name = true 
#url是否包含group名稱

storage_server_port=23000           
#需要和storage配置的相同

store_path_count=1              
#存儲(chǔ)路徑個(gè)數(shù)，需要和store_path個(gè)數(shù)匹配

store_path0=/opt/fastdfs               
#文件存儲(chǔ)的位置

5.修改nginx配置文件

vim /usr/local/nginx/conf/nginx.conf
#空行處追加以下內(nèi)容
location ~/M00 {
                root /opt/fastdfs/data;
                ngx_fastdfs_module;
}

6.拷貝fastdfs并解壓目錄中的http.conf和mime.types

cd /opt/fastdfs-5.11/conf/
cp mime.types http.conf /etc/fdfs/

7.開啟Nginx服務(wù)

#創(chuàng)建軟連接讓系統(tǒng)識別nginx啟動(dòng)腳本
ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/  

#開啟服務(wù)
nginx

第六步:配置client客戶端

修改配置文件

vim /etc/fdfs/client.conf
base_path=/opt/fastdfs     
#tracker服務(wù)器文件路徑

tracker_server=192.168.45.132:22122            
#tracker服務(wù)器IP地址和端口號

http.tracker_server_port=8080                 
#tracker服務(wù)器的http端口號，必須和tracker的設(shè)置對應(yīng)起來

三、驗(yàn)證分布式效果命令

上傳測試文件命令

/usr/bin/fdfs_upload_file <config_file> <local_filename>

實(shí)例演示

/usr/bin/fdfs_upload_file /etc/fdfs/client.conf test.jpg

查看上傳的圖片

下載文件命令

/usr/bin/fdfs_download_file <config_file> <file_id> [local_filename]

刪除文件命令

/usr/bin/fdfs_delete_file <config_file> <file_id>