hadoop搭建及wordcount實例運(yùn)行分析

本篇內(nèi)容主要講解“hadoop搭建及wordcount實例運(yùn)行分析”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“hadoop搭建及wordcount實例運(yùn)行分析”吧!

前提準(zhǔn)備：由于hadoop是基于linux，那就先要在windows下模擬出linux環(huán)境來，現(xiàn)推薦幾款軟件:cygwin、hadoop4win、HDP和vmware。

cygwin：Cygwin是一個在windows平臺上運(yùn)行的類UNIX模擬環(huán)境，Cygwin 提供一個UNIX 模擬 DLL 以及在其上層構(gòu)建的多種可以在 Linux 系統(tǒng)中找到的軟件包，在 Windows XP SP3 以上的版本提供良好的支持。簡單說就是unix下的命令行和windows的cmd一樣！

hadoop4win：是一個集成包包括cygwin、hadoop、jdk、hbase。這些都是hadoop需要的，安裝上hadoop4win都包括了，直接運(yùn)行hadoop就行了。這個還在增加包，有個缺點就是自帶的hadoop版本是0.2.0有點低最新的是2.6.0.

HDP：Hortonworks Data Platform (HDP) 完全在開源的環(huán)境下設(shè)計、開發(fā)和構(gòu)建，提供企業(yè)可用的數(shù)據(jù)平臺，讓組織能夠采用現(xiàn)代化數(shù)據(jù)架構(gòu)。

HDP 以 YARN 作為其架構(gòu)中心，是一系列處理方法（從批量到交互式再到實時）的多個工作負(fù)荷數(shù)據(jù)處理平臺，擁有企業(yè)數(shù)據(jù)平臺所需的關(guān)鍵能力 - 廣泛的管制、安全和運(yùn)營。

這個是個集成工具，可以在vmware下打開，這是個虛擬機(jī)，可以直接打開不用安裝。估計這是趨勢。我在研究中，大家可以一起討論。

正文開始：我用了3中方法，第一種失敗，第二種和第3中成功，花了不少時間，真是獲益頗多。

1：現(xiàn)在windows下安裝cygwin，這個安裝起來比較麻煩，俺花了3天時間，最后還是沒成功，這是很重要的一步。雖然沒成功，可學(xué)了不少東西，對后面其他的安裝很有幫助。*下載cygwin一定去官網(wǎng)下最新的，要不然安裝是有一步提示選擇鏡像，就會出錯，或者直接在地址欄輸入http://www.cygwin.com/setup-x86.exe這是32位，要是64位把x86改成x86_64就行了。

安裝的過程中會提示安裝包，有兩個要選上openssh和openssl這兩個在net目錄下，或者直接在上面搜就可以。這2個一定要選的。安裝好后要配置運(yùn)行cygwin輸入ssh-host-config,下面的我就不說了，網(wǎng)上一搜一大把。中間會提示錯誤/var pression denied 這就要給這個文件付權(quán)限。只要輸入下面代碼：chmod 777 /var和 chown :Users /var這兩個多試幾遍就行了，我的也是有時候數(shù)一遍不行。777代表最高權(quán)限，網(wǎng)上還有其他數(shù)字，這個就行。

最重要的一步：我就卡在這里了，開啟ssh服務(wù)，用命令net start sshd,再把私鑰設(shè)置成公搖命令：ssh-keygen這一步會有提示直接點回車就行，接著輸入cd ~/.ssh、cp id_rsa.pub authorized_keys.

最后要驗證net start sshd輸入命令ssh localhost沒提示說明正確。如果提示Connection closed by ::1  就錯了
。我的就到這就走不動了，因為跑hadoop項目是ssh要聯(lián)通，要不然跑不動的。cygwin配置網(wǎng)上很多，可以嘗試，接下來就是俺成功的配置。

注意：可能和系統(tǒng)有關(guān)，我換了個win7，安裝上了，原來問win8.1安裝不上，具體沒去研究。你可以試試換個系統(tǒng)試試

2：下載hadoop4win 地址http://sourceforge.net/projects/hadoop4win/files/0.1.4/hadoop4win-setup-net_0.1.4.zip/download 直接安裝就行了，里面的東西都有了，運(yùn)行hadoop4win，先看安裝目錄有個opt/hadoop/bin，進(jìn)入這個文件夾內(nèi)，（注意：安裝時必須以管理員身份運(yùn)行，不然會出現(xiàn)安裝不全，缺少快捷方式的錯誤）輸入命令 ls 下圖：

選擇里面的hadoop-daemon.sh腳本命令：hadoop-daemon.sh start namenode

用jps命令查看進(jìn)程

顯示namenode 這個進(jìn)程說明成功了，一共有5個進(jìn)程都要開啟，namenode、datanode、secondarynamenode、jobtracker、tasktracker.這5個有順序的就是上面順序，具體這5個的作用自已可以google，下圖顯示

接下來打開瀏覽器輸入：localhost:50030和localhost:50070,查看是否成功顯示如下：

1：

2：

顯示這兩個說明你安裝成功了，下面跑一個wordcount例子，是hadoop4win自帶的一個jar包，有2種方法一個命令行，一個是eclipse下，新手建議命令行，這樣可以了解過程，熟悉后在eclipse。

先建一個txt文件隨便輸入內(nèi)容我的如下

把這個文件上傳到HDFS文件系統(tǒng)下現(xiàn)在hadoop4win命令下進(jìn)入本地目錄下 cd d: 再用命令：hadoop fs -put hello.tex  /

接下來打開localhost:50070查看文件，點擊browser the filesystem,看有沒有hello.txt

1:

2:

這樣就是給上傳成功了。接下來運(yùn)行jar包。命令如下圖

運(yùn)行hadoop-0.20.2-examples.jar這個包，命令如下：hadoop jar hadoop-0.20.2-examples.jar wordcount hello.txt /sum.txt其中、sum.txt是自己定義的文件，可以其他。圖如下：

然后打開localhost：50070，就會出現(xiàn)sum.txt,查看里面的內(nèi)容，點開查看內(nèi)容：

上面的寫的很賤減略，能力有限，其中許多l(xiāng)inux下的命令沒說，看不懂的可以看一下這個視頻很詳細(xì) http://www.ppvke.com/10354.html

上面的算是講完了，可能要花點時間去查看其中的很多地方，多去想，多動手，多google！下面是第3種正在研究中，分享一下子：

3：

先安裝虛擬機(jī)，vmware這就不講了，安裝后打開虛擬機(jī)導(dǎo)入下載的文件，地址：http://zh.hortonworks.com/hdp/downloads/

直接打開就行了，打開后到最后會出現(xiàn)一個地址形式是:192.168.xxx.xxx

到此，相信大家對“hadoop搭建及wordcount實例運(yùn)行分析”有了更深的了解，不妨來實際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！