hadoop的常用命令介紹

這篇文章主要介紹“hadoop的常用命令介紹”，在日常操作中，相信很多人在hadoop的常用命令介紹問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”hadoop的常用命令介紹”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

1.start-all.sh開啟線程

hadoop fs -ls hdfs://cloud4:9000/user (cloud4表示主機名 9000代表端口號 /就代表根目錄 /user就是user文件夾)

hadoop fs -ls /user（hdfs://cloud4:9000可省略）

2. -ls/-lsr 查看目錄下的文件信息

  hadoop fs -ls /  查看根目錄下文件與文件夾

  hadoop fs -lsr /    遞歸查看根目錄下所有文件與文件夾

  hadoop fs -ls    默認(rèn)查看hdfs下的/user/<當(dāng)前用戶>  例如：/user/root  (很方便的)

3. –touchz 創(chuàng)建文件

可以創(chuàng)建一個文件

  hadoop fs -touchz /hello  (創(chuàng)建一個hello文件)

4. –mkdir 創(chuàng)建文件夾

（linux中創(chuàng)建多級目錄 mkdir –p   p表示parents）

可以創(chuàng)建一個或者多個文件夾(hadoop則不需要-p)

  hadoop fs -mkdir /user  (創(chuàng)建一個user文件夾 )

5. -text/-cat查看文件內(nèi)容

  hadoop fs -text /hello

  hadoop fs -cat /hello

6. -mv 移動/重命名

該命令選項表示移動 hdfs 的文件到指定的 hdfs 目錄中。后面跟兩個路徑，第一個表示源文件，第二個表示目的目錄

  hadoop fs -mv /hello /user（文件到文件夾：是移動）

hadoop fs -mv /hello /user/hello(文件到文件：是重命名)

7. -cp 復(fù)制

該命令選項表示復(fù)制 hdfs 指定的文件到指定的 hdfs 目錄中。后面跟兩個路徑，第

一個是被復(fù)制的文件，第二個是目的地

  hadoop fs -cp /user/hello /user/root

8. -rm/-rmr 刪除文件

-rm:刪除文件/空白文件夾

該命令選項表示刪除指定的文件或者空目錄

  hadoop fs -rm /user/hello

-rmr:遞歸刪除

該命令選項表示遞歸刪除指定目錄下的所有子目錄和文件

 hadoop fs -rm /user

9. -put 上傳文件

該命令選項表示把 linux 上的文件復(fù)制到 hdfs 中

  hadoop fs -put hadoop-env.sh /user 

將當(dāng)前l(fā)inux目錄下的hadoop-env.sh文件，上傳到/user(hdfs服務(wù)器上的user目錄下)

hadoop fs -put hadoop-env.sh  /你叫起的名字(hello—文件名)

例如：hadoop fs -put hadoop-env.sh /hello

10.-copyFromLocal 從本地復(fù)制

用法與-put一樣

  hadoop fs -copyFromLocal hadoop-env.sh /user

11 -moveFromLocal從本地移動

該命令表示把文件從 linux 上移動到 hdfs 中

hadoop fs -moveFromLocal /home/repine/hehe.txt /user

12. -getmerge 合并下載到本地

該命令選項的含義是把 hdfs 指定目錄下的所有文件內(nèi)容合并到本地 linux 的文件中

  hadoop fs -getmerge /user /home/repine/abc.txt     表示把user目錄下所有文件內(nèi)容復(fù)制到linux下 /home/repine/abc.txt中

13. -setrep/-setrep -R/-setrep -R -w 設(shè)置副本數(shù)量

該命令選項是修改已保存文件的副本數(shù)量，后面跟副本數(shù)量，再跟文件路徑

  hadoop fs -setrep 2 /user/hehe.txt   設(shè)置/user/hehe.txt副本數(shù)量為2

如果最后的路徑表示文件夾，那么需要跟選項-R，表示對文件夾中的所有文件都修改副本

  hadoop fs -setrep -R 2 /user   設(shè)置/user下所有文件（不是文件夾）的副本數(shù)量為2

還有一個選項是-w，表示等待副本操作結(jié)束才退出命令

  hadoop fs -setrep -R -w 1 /user/hehe.txt

14. -du統(tǒng)計目錄下個文件大小

  hadoop fs -du /    查看根目錄下的各個文件的大小

  hadoop fs -dus /   匯總統(tǒng)計目錄下所有文件的總大?。ㄒ簿褪钱?dāng)前文件夾的大?。?/p>

15.-count統(tǒng)計文件（夾）數(shù)量

  hadoop fs -count /usr  遞歸統(tǒng)計當(dāng)前文件下的所有信息：數(shù)字代表（文件夾總數(shù)量、文件總數(shù)量、文件總大小信息）

  hadoop fs -lsr /usr    驗證信息

16. –chmod/-chmod -R 修改文件權(quán)限

該命令選項的使用類似于 linux 的 shell 中的 chmod 用法，作用是修改文件的權(quán)限

  hadoop fs - chmod 777 /user/hehe.txt  修改該文件的權(quán)限

如果加上選項-R，可以對文件夾中的所有文件修改權(quán)限

  hadoop fs – chmod -R 777 /user  修改該文件夾下所有文件的權(quán)限

17. hadoop jar 導(dǎo)jar在命令行運行

//打包運行程序必備寶典

job.setJarByClass(WordCountApp.class);

在linux下 ：

hadoop jar    /linux下路徑/XXX.jar     /hadoop執(zhí)行jar的文件或者文件夾    /hadoop下存放目錄

18、報告HDFS的基本統(tǒng)計信息

bin/hadoop dfsadmin -report

19、安全模式

bin/hadoop dfsadmin -safemode leave/enter/get/wait

20、將HDFS中的文件復(fù)制到本地系統(tǒng)中

bin/hadoop dfs -get in getin

將HDFS中的in文件復(fù)制到本地系統(tǒng)并命名為getin

到此，關(guān)于“hadoop的常用命令介紹”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>