hadoop hdfs和MapReduce怎么創(chuàng)建

本篇內(nèi)容主要講解“hadoop hdfs和MapReduce怎么創(chuàng)建”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“hadoop hdfs和MapReduce怎么創(chuàng)建”吧!

大致步驟如下：

新建一個(gè)文件test.txt，內(nèi)容為

Hello Hadoop

Hello xiaoqiang

Hello testingbang

Hello http://xqtesting.sxl.cn

將test.txt上傳到hdfs的根目錄

/usr/lib/hadoop/hadoop-2.7.4/bin/hdfs dfs -put /root/install/test.txt /

然后瀏覽器訪問可以看到剛才上傳的文件，如下圖

運(yùn)行官方的一個(gè)wordcount程序來統(tǒng)計(jì)字符數(shù)量，命令如下：

/usr/lib/hadoop/hadoop-2.7.4/bin/hadoop jar /usr/lib/hadoop/hadoop-2.7.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar wordcount hdfs://localhost:9000/test.txt hdfs://localhost:9000/out

解釋下這個(gè)命令，大致意思是用hadoop執(zhí)行一個(gè)叫hadoop-mapreduce-examples-2.7.4.jar的wordcount 方法，其中輸入?yún)?shù)為hdfs上根目錄的test.txt 文件，而輸出路徑為hdfs跟目錄下的out目錄

PS：我這里沒有把hadoop配置成環(huán)境變量，所以命令很長，你可以配置下，這樣命令就會(huì)短很多了，至于怎么配置，自己悟~

執(zhí)行過程如下：

執(zhí)行完成之后再次刷新瀏覽器可以看到out目錄和結(jié)果了

點(diǎn)擊part-r-00000，在彈出的頁面點(diǎn)擊download

這時(shí)候下載會(huì)出現(xiàn)404，我們只需要在URL里的localhost改為你服務(wù)器的ip地址就可以下載了。下載之后用編輯器打開，內(nèi)容如下：

PS：你也可以用命令查看，如下圖

到此，相信大家對“hadoop hdfs和MapReduce怎么創(chuàng)建”有了更深的了解，不妨來實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！