hadoop新特性通過NFSv3掛載HDFS到本地目錄

原理

NFS允許用戶像訪問本地文件系統(tǒng)一樣訪問遠程文件系統(tǒng)，而將NFS引入HDFS后，用戶可像讀寫本地文件一樣讀寫HDFS上的文件，大大簡化了HDFS使用，這是通過引入一個NFS gateway服務(wù)實現(xiàn)的，該服務(wù)能將NFS協(xié)議轉(zhuǎn)換為HDFS訪問協(xié)議，具體如下圖所示。

Portmap和Nfs3進程是成功啟動hdfs nfs網(wǎng)關(guān)后才有的進程

HDFS NFS Gateway安裝配置詳解

http://blog.csdn.net/rzliuwei/article/details/38388279

啟動NFS Gateway 服務(wù)

官網(wǎng)鏈接

http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/HdfsNfsGateway.html

驗證服務(wù)

如果不是可以查看/etc/exports文件

掛載HDFS

掛載HDFS文件系統(tǒng)到本地的/mnt/hdfs目錄下

在NFS GATEWAY主機上輸入

sudo mount -t nfs -o vers=3,proto=tcp,nolock 192.168.1.105:/ /mnt/hdfs


May  8 15:53:18 cdh2 rpc.mountd[3689]: refused mount request from 192.168.1.105 for / (/): unmatched host

如果報錯因為機器默認沒有打開NFSv3，修改/etc/sysconfig/nfs文件

把RPCNFSDARGS="-N 4"前面的#去掉（4兼容2和3），修改重啟所有服務(wù)。

查看報錯詳細信息：
cat /var/log/messages|grep mount

成功掛載后如下所示，可以看到HDFS文件系統(tǒng)已掛載到本地目錄

創(chuàng)建目錄

可以看到HDFS系統(tǒng)上對應(yīng)目錄已創(chuàng)建成功

從本地上傳文件到HDFS

文件大小為500m,測試性能

time  cp /opt/cloudera-manager-el6-cm5.3.3_x86_64.tar.gz /mnt/hdfs/test

我的環(huán)境上耗時大概48s，10M/s的速度，還可以

解掛HDFS

報錯umount.nfs: /mnt/hdfs: device is busy

fuser -m /mnt/hdfs，查看此文件系統(tǒng)正在被哪些進程訪問

yum -y install  lsof 
查看此文件系統(tǒng)中正在被使用的文件，可以看到/data目錄被正在使用

kill -9  15355 殺死訪問進程就可以，輸入umount /mnt/hdfs解掛成功。

補充：

linux下好用的命令：tree 

安裝tree包 

yum -y install tree  

 安裝后鍵入  tree  /mnt/hdfs/hbase，目錄結(jié)構(gòu)以樹形的方式顯示是不是很直觀