大數(shù)據(jù)中HDFS常用shell和web界面有哪些

這篇文章將為大家詳細(xì)講解有關(guān)大數(shù)據(jù)中HDFS常用shell和web界面有哪些，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

大數(shù)據(jù)教程分享HDFS常用shell和web界面介紹

最后一個(gè):塊刪除的開始時(shí)間

HDFS的Shell命令:

ps:無論看到是hdfs dfs 形式還是 hadoop fs這種形式 都可以 完成對(duì)HDFS的操作

1.向HDSF上傳文件

put: 從本地文件系統(tǒng)賦值單個(gè)或多個(gè)原路徑目標(biāo)文件到HDFS文件系統(tǒng)中

hdfs dfs -put 本地文件路徑 HDFS文件系統(tǒng)路徑

2.將HDFS文件系統(tǒng)中的文件下載回來

get:從HDFS文件系統(tǒng)中將文件復(fù)制到本地文件系統(tǒng)中

hdfs dfs -get HDFS文件系統(tǒng)路徑 本地文件系統(tǒng)路徑

ps:HDFS有一個(gè)和put和get類似的而方法 copyFromlocal 相當(dāng)于put 和 copyTolocal 相當(dāng)于 get 3.查看HDFS文件系統(tǒng)中的文件內(nèi)容

cat:查看HDFS文件系統(tǒng)中的文件內(nèi)容

hdfs dfs -cat HDFS文件系統(tǒng)中文件的路徑

ps:不要查看非文件

在查看文件的同時(shí)追加文件到本地路徑

4.HDFS文件系統(tǒng)中進(jìn)行復(fù)制操作

cp:將HDFS文件系統(tǒng)中的文件進(jìn)行復(fù)制,復(fù)制到HDFS系統(tǒng)中

hdfs dfs -cp 源HDFS文件系統(tǒng)中的文件路徑 目標(biāo)HDFS文件系統(tǒng)中的路徑

5.HDFS文件系統(tǒng)中的文件進(jìn)行移動(dòng)操作

mv:將源文件移動(dòng)目標(biāo)路徑,這個(gè)命令可允許有多個(gè)源路徑,此時(shí)目標(biāo)路徑必須是一個(gè)文件夾(目錄)

不允許不同的文件系統(tǒng)互相移動(dòng)文件

hdfs dfs -mv 源HDFS文件系統(tǒng)中的文件路徑 目標(biāo)HDFS文件系統(tǒng)中的路徑

相當(dāng)于剪切

6.查看HDFS文件系統(tǒng)中文件的大小

hdfs dfs -du HDFS文件系統(tǒng)中路徑中的一個(gè)文件

7.在HDSF系統(tǒng)中創(chuàng)建文件夾

mkdir 創(chuàng)建文件夾

hdfs dfs -mkdir HDFS文件系統(tǒng)中的路徑

創(chuàng)建多個(gè)文件夾 添加 -p 就是多個(gè)文件夾

8.查看HDFS文件系統(tǒng)下的所有文件

hdfs dfs -ls HDFS文件系統(tǒng)路徑

9.刪除HDFS文件系統(tǒng)中的目錄或文件

ps:只能是單個(gè)文件 或 空目錄

hdfs dfs -rm HDFS文件系統(tǒng)路徑

若參數(shù)文件夾中有多個(gè)文件 加 -r

hdfs dfs -rm -r HDFS文件系統(tǒng)路徑

10.更改文件的權(quán)限

r可讀 w可寫 x可執(zhí)行

- | ---| --- 1代表有權(quán) 0代表沒有權(quán)限 所有每三位可以作為一個(gè)八進(jìn)制處理例如 rwx | rwx | rwx

111 | 111 | 111

=========================

7 7 7

hdfs dfs -chmod 權(quán)限值 HDFS文件系統(tǒng)路徑若需要更改目錄下權(quán)限都需要修改

hdfs dfs -chmod -R 權(quán)限值 HDFS文件系統(tǒng)路徑下的文件夾ps:并且文件夾下的所有子文件和文件夾都會(huì)被修改

11.回收站

Hadoop回收站trash,默認(rèn)是關(guān)閉的,建議開啟

<property>

<name>fs.trash.interval</name>

<!-- 開啟當(dāng)前hdfs中的回收站 時(shí)長(zhǎng):多長(zhǎng)時(shí)間清空回收站 單位是分鐘 1440就是1天-->

<value>1440</value>

</property>

ps:默認(rèn)為是沒有權(quán)限操作回收站的,所以操作之前開啟權(quán)限 hdfs dfs -chmod -R 777 HDFS文件系統(tǒng)中回收站的路徑例子:hdfs dfs -chmod -R 777 /user

刪除文件后,發(fā)現(xiàn)誤刪了,恢復(fù)文件

hdfs dfs -mv HDFS文件系統(tǒng)中回收站的路徑下的文件 HDFS文件系統(tǒng)路徑清空回收站 hdfs dfs -rm -r HDFS文件系統(tǒng)中回收站的路徑

例如:hdfs dfs -rm -r /user/root/.Trash

關(guān)于“大數(shù)據(jù)中HDFS常用shell和web界面有哪些”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。