怎么配置Hadoop單機模式并運行Wordcount

本篇內(nèi)容主要講解“怎么配置Hadoop單機模式并運行Wordcount”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學(xué)習(xí)“怎么配置Hadoop單機模式并運行Wordcount”吧!

2.安裝rsync

我們的Ubuntu 12.10版本默認安裝了rsync，我們可以通過以下命令來安裝或者更新rsync

3.安裝hadoop，家林把下載下來的最新穩(wěn)定版本的hadoop保存在電腦本地的以下位置：

創(chuàng)建/usr/local/hadoop目錄并把下載下來的Hadoop解壓/usr/local/hadoop中：

4.在hadoop-env.sh配置Java安裝信息.

進入/usr/local/Hadoop/Hadoop-1.2.1/conf

打開hadoop-env.sh：

按下回車即可進入該配置文件：

在前面我們安裝Java的時候把Java安裝在了“/usr/lib/java/jdk1.7.0_60”，此時我們在hadoop-env.sh配置文件加入如下配置信息

保存退出.

使用source命令使hadoop-env.sh配置信息生效：

此時Hadoop的單機模式配置成功!

為了方便我們在開機啟動后也可以立即使用Hadoop的bin目錄下的相關(guān)命令，可以把bin目錄配置到“~/.bashrc”文件中，此時開啟啟動后系統(tǒng)自動讀取“~/.bashrc”文件的內(nèi)容，我就就可以隨時使用Hadoop的命令了：

修改后的文件內(nèi)容：

保存退出，使用下面的命令使配置生效：

5.驗證Hadoop的版本信息，使用“hadoop version”命令即可：

6.運行Hadoop自帶的WordCount例子：

首先在hadoop的目錄下創(chuàng)建一個input目錄并把conf下的所有文件copy到該目錄下，需要如下命令即可：

使用hadoop命令運行自帶的wordcount程序并把結(jié)果輸出到output中：

運行過程如下：

一直運行知道完成（因為運行過程有些長，中間省略了一些運行過程，只截取了開始和結(jié)束部分）：

查看運行結(jié)果：

該命令執(zhí)行后即顯示出Wordcount運行input中若干個文件中單詞統(tǒng)計結(jié)果，如下所示（直截取了其中一部分）：

單機模式的構(gòu)建、配置和運行測試徹底成功！

到此，相信大家對“怎么配置Hadoop單機模式并運行Wordcount”有了更深的了解，不妨來實際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進入相關(guān)頻道進行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！