hdfs的shell操作

Hdfs 的shell 操作
hadoop fs -操作命令 -參數(shù)
-ls #顯示目錄信息
-->hadoop fs -ls / 查看根目錄信息
-put #等同于copyFromLocal #從本地文件系統(tǒng)中拷貝文件到hdfs 路徑去
-get #等同于copyToLocal，就是從hdfs 下載文件到本地#從hdfs 拷貝到本地
-getmerge #合并下載多個(gè)文件
--> 比如hdfs 的目錄/aaa/下有多個(gè)文件:log.1, log.2,log.3,...
hadoop fs -getmerge /aaa/log. ./log.sum
-moveFromLocal #從本地移動(dòng)到hdfs
-moveToLocal #從hdfs 移動(dòng)到本地
-cp #從hdfs 的一個(gè)路徑拷貝hdfs 的另一個(gè)路徑
-->hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2
-mv #在hdfs 目錄中移動(dòng)文件
-mkdir #在hdfs 上創(chuàng)建目錄這里的-p 是創(chuàng)建目錄下再創(chuàng)建目錄-mkdir 只能創(chuàng)建一個(gè)目錄
-->hadoop fs -mkdir -p /aaa/bbb/cc/dd
-rm #刪除文件或文件夾-r 刪除aaa 目錄下的子集目錄bbb 沒(méi)有-r 只能刪除aaa
--> hadoop fs -rm -r /aaa/bbb/
-rm -skipTrash 永久刪除
[root@hdfs-master-84-20 ~]# sudo -u hdfs hadoop fs -rm -skipTrash /data/vargoFile/
-rmdir #刪除空目錄
-cat ---顯示文件內(nèi)容
-->hadoop fs -cat /hello.txt
-tail ---顯示文件內(nèi)容(用法和cat 一樣)
[root@NewCDH-0--141 ~]# hadoop fs -tail /mjh/shiyanshuju/shiyanshuju.txt001,zhangsan,5678,zhangsan@email.com,123456789,10000.00
br/>001,zhangsan,5678,zhangsan@email.com,123456789,10000.00
003,wangwu,7890,wangwu@163.com,234567145,3456.00

[root@NewCDH-0--141 ~]# hadoop fs -cat /mjh/shiyanshuju/shiyanshuju.txt001,zhangsan,5678,zhangsan@email.com,123456789,10000.00
br/>001,zhangsan,5678,zhangsan@email.com,123456789,10000.00
003,wangwu,7890,wangwu@163.com,234567145,3456.00[root@NewCDH-0--141 ~]#
-chgrp -chmod -chown
上面三個(gè)跟linux 中的用法一樣
-->hadoop fs -chmod 666 /hello.txt
-count #統(tǒng)計(jì)一個(gè)指定目錄下的文件節(jié)點(diǎn)數(shù)量

-->hadoop fs -count /aaa/
-createSnapshot -deleteSnapshot -renameSnapshot
以上三個(gè)用來(lái)操作hdfs 文件系統(tǒng)目錄信息快照
-->hadoop fs -createSnapshot /
-df #統(tǒng)計(jì)文件系統(tǒng)的可用空間信息
-du
-->hadoop fs -df -h / #后面要加-h 在linux 中-->df -Th 代表查看整個(gè)系統(tǒng)的可用空間情況
-->hadoop fs -du -s -h /aaa/ #查看在aaa 文件下文件所用了多少空間（也就是查看文件大?。?br/>--> du -s -h mjh.data #查看mjh.data 文件大小
-du 統(tǒng)計(jì)目錄下文件大小; -du -s 匯總目錄下文件大小,單位字節(jié); -du -h ,顯示目錄下各個(gè)
文件的大小。-du -s -h /user/hive/warehouse/table_test ，匯總該表所占據(jù)的存儲(chǔ)空間,顯示單位。
[root@NewCDH-0--141 ~]# sudo -u hdfs hadoop fs -du /
46126 1610713413 /hbase
186 522 /mjh
173 519 /newdata
651 1953 /newdata.har
2119478 4314688 /tmp
589588200 1765140911 /user
[root@NewCDH-0--141 ~]# sudo -u hdfs hadoop fs -du -s /
591754814 3380172006 /
[root@NewCDH-0--141 ~]# sudo -u hdfs hadoop fs -du -s -h /
564.3 M 3.1 G /
[root@NewCDH-0--141 ~]# sudo -u hdfs hadoop fs -du -h /
45.0 K 1.5 G /hbase
186 522 /mjh
173 519 /newdata
651 1.9 K /newdata.har
2.0 M 4.1 M /tmp
562.3 M 1.6 G /user
第一列標(biāo)示該目錄下總文件大小
第二列標(biāo)示該目錄下所有文件在集群上的總存儲(chǔ)大小和你的副本數(shù)相關(guān)，我的副本數(shù)是3 ，
所以
第二列的是第一列的三倍（第二列內(nèi)容=文件大小*副本數(shù)）
第三列標(biāo)示你查詢(xún)的目錄
[root@NewCDH-0--141 ~]# sudo -u hdfs hadoop fs -count -q /
9223372036854775807 9223372036854772688 none inf
2192 927 591754814 /
根目錄邏輯空間大小為591754814B
1G=1024MB=1024X1024KB=1024X1024X1024B,也就是1G=1024x1024x1024 個(gè)字節(jié)。
591754814B=0.55111G
fs -count -q 會(huì)輸出8 列，分別表示如下:
命名空間的剩余的命物理空間的quota 剩余目錄文件目錄邏路徑
quota（限制文件數(shù)）名空間quota（限制空間占用大小）
的物理空數(shù)統(tǒng)計(jì)數(shù)統(tǒng)計(jì)輯空間總大小
可以看出通過(guò)hadoop fs -count -q 可以看到一個(gè)目錄比較詳細(xì)的空間和qutoa占用情況，包含了物理空間、邏輯空間、文件數(shù)、目錄數(shù)、qutoa 剩余量等參考： 理解hadoop fsck 、fs -dus 、-count -q 的大小輸出:http://www.opstool.com/article/255
-help #輸出這個(gè)命令參數(shù)手冊(cè)
-setrep #設(shè)置hdfs 中文件的副本數(shù)量
-->hadoop fs -setrep 3 /aaa/jdk.tar.gz
-stat #顯示一個(gè)文件或文件夾的元信息TDH 中顯示創(chuàng)建的時(shí)間
-tail #顯示一個(gè)文件最后一個(gè)1KB 的信息
-text #以字符形式打印一個(gè)文件的內(nèi)容