Linux系統(tǒng)怎樣搭建hadoop集群

這篇文章跟大家分析一下“Linux系統(tǒng)怎樣搭建hadoop集群”。內(nèi)容詳細易懂，對“Linux系統(tǒng)怎樣搭建hadoop集群”感興趣的朋友可以跟著小編的思路慢慢深入來閱讀一下，希望閱讀后能夠?qū)Υ蠹矣兴鶐椭Ｏ旅娓【幰黄鹕钊雽W(xué)習(xí)“Linux系統(tǒng)怎樣搭建hadoop集群”的知識吧。

Hadoop是一個可以更容易開發(fā)和運行處理大規(guī)模數(shù)據(jù)的軟件平臺。該平臺使用的是面向?qū)ο缶幊陶Z言Java實現(xiàn)的，具有良好的可移植性。

HADOOP簡介：

• Hadoop，是一個分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會開發(fā)。用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力高速運算和存儲。

• 簡單地說來，Hadoop是一個可以更容易開發(fā)和運行處理大規(guī)模數(shù)據(jù)的軟件平臺。該平臺使用的是面向?qū)ο缶幊陶Z言Java實現(xiàn)的，具有良好的可移植性。

Linux系統(tǒng)安裝HADOOP步驟：

1嘗試新建一個名為hadoop的用戶并且設(shè)置密碼（同時添加管理員權(quán)限）：

但是在剛開始就遇到了問題：由于我們下載的Hadoop和jdk在Windows下下載的，將文件共享進ubuntu時，只能共享到第一個創(chuàng)建的用戶（我也不知道為什么），而且ubuntu下網(wǎng)絡(luò)很慢，所以，我就沒有創(chuàng)建新的用戶，在原有的用戶上進行的安裝（后面運行成功證實是可以的）。

2.更新apt，下載vim

3.安裝SSH、配置SSH無密碼登陸：（提示(SSH首次登陸提示)，輸入 yes 。然后按提示輸入密碼 hadoop，這樣就登陸到本機了）

4.安裝jdk（在Linux命令行界面中，執(zhí)行如下Shell命令）：

解壓過程：

JDK文件解壓縮以后，可以執(zhí)行如下命令到/usr/lib/jvm目錄查看一下：

繼續(xù)執(zhí)行如下命令，設(shè)置環(huán)境變量：

下面命令使用vim編輯器打開了hadoop這個用戶的環(huán)境變量配置文件，在這個文件的開頭位置，添加如下幾行內(nèi)容（注意自己的jdk 版本號）：

5.安裝hadoop3.2.1（Hadoop 解壓后即可使用。輸入如下命令來檢查 Hadoop 是否可用，成功則會顯示 Hadoop 版本信息）：

總體的命令：

6.Hadoop單機配置(非分布式)：（Hadoop 默認模式為非分布式模式（本地模式），無需進行其他配置即可運行）

運行例子：

在此我們選擇運行 grep 例子，我們將 input 文件夾中的所有文件作為輸入，篩選當(dāng)中符合正則表達式 dfs[a-z.]+ 的單詞并統(tǒng)計出現(xiàn)的次數(shù)，最后輸出結(jié)果到 output 文件夾中

最后的結(jié)果與教程相符合：

將 ./output 刪除

7. Hadoop偽分布式配置

修改配置文件 core-site.xml (通過 gedit 編輯會比較方便: gedit ./etc/hadoop/core-site.xml)，

修改為：

同樣的，修改配置文件 hdfs-site.xml：

配置完成后，執(zhí)行 NameNode 的格式化:

開啟 NameNode 和 DataNode 守護進程：

還好沒有教程中的錯誤：

網(wǎng)頁面中打開9870端口：

到這里表明已經(jīng)成功！

四、 實驗中遇到的問題和解決辦法，總結(jié)

問題一：Ubuntu和Windows之間的文件傳輸，拖拽，共享粘貼板。解決辦法：安裝VBox的增強功能，以及設(shè)置如下的地方（自行百度）：

問題二:新用戶下，不能拖拽文件（就算是管理員也不行）沒有解決，因此沒有在新用戶hadoop下安裝，但是最后仍然是成功的

關(guān)于Linux系統(tǒng)怎樣搭建hadoop集群就分享到這里啦，希望上述內(nèi)容能夠讓大家有所提升。如果想要學(xué)習(xí)更多知識，請大家多多留意小編的更新。謝謝大家關(guān)注一下億速云網(wǎng)站！