如何構(gòu)造分布式Hadoop2.2.0集群

本篇內(nèi)容主要講解“如何構(gòu)造分布式Hadoop2.2.0集群”，感興趣的朋友不妨來看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“如何構(gòu)造分布式Hadoop2.2.0集群”吧!

構(gòu)造分布式Hadoop2.2.0集群

1,在Windows 7（本教程中的Spark集群運(yùn)行的機(jī)器是8G的Windows內(nèi)存）上安裝VMware虛擬機(jī)（我們安裝的是VMware-workstation-full-9.0.2）

2,在VMvare中裝三臺(tái)Ubuntu機(jī)器（我們使用的是ubuntu-12.10-desktop-i386），每臺(tái)機(jī)器分配2G的內(nèi)存

1,在Windows 7（本教程中的Spark集群運(yùn)行的機(jī)器是8G的Windows內(nèi)存）上安裝VMware虛擬機(jī)（我們安裝的是VMware-workstation-full-9.0.2）

3,分別在三臺(tái)Ubuntu機(jī)器中設(shè)置root用戶機(jī)器密碼，以后每次登錄的時(shí)候都是用root用戶登錄，具體設(shè)置方式如下：

•  sudo  -s進(jìn)入 root用戶權(quán)限模式

•  vim /etc/lightdm/lightdm.conf

[SeatDefaults]

greeter-session=unity-greeter

user-session=Ubuntu

greeter-show-manual-login=true

allow-guest=false   

• 啟動(dòng)root帳號(hào)：
  sudo passwd root

三臺(tái)機(jī)器修改后，再次登錄系統(tǒng)的時(shí)候用root用戶登錄：

4,配置三臺(tái)機(jī)器的/etc/hosts和/etc/hostname并安裝ssh設(shè)置三臺(tái)機(jī)器之間的無密碼登錄，具體步驟可參考Spark實(shí)戰(zhàn)高手之路-第一章的第一節(jié) http://t.cn/RPo13rO 和Spark實(shí)戰(zhàn)高手之路第一章的第二節(jié)http://t.cn/RP9klmr 我們?cè)凇?etc/hostname”文件中把三臺(tái)機(jī)器的hostname分別設(shè)置了SparkMaster、SparkWorker1、SparkWorker2并在每臺(tái)機(jī)器的“/etc/hosts”配置如下IP和機(jī)器名稱的對(duì)應(yīng)關(guān)系：

配置好三天機(jī)器相互通信的ssh后會(huì)發(fā)現(xiàn)三臺(tái)機(jī)器可以相互使用ssh無密碼登錄：

5,在三臺(tái)Ubuntu機(jī)器上安裝Java

安裝完成的可以驗(yàn)證一下：

三臺(tái)Ubuntu機(jī)器分別出現(xiàn)上述信息就表明Java安裝正確。

6,在SparkMaster這臺(tái)機(jī)器上安裝Hadoop 2.2.0,Hadoop 2.2.0的下載地址為：

http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.2.0/

我們下載的是“hadoop-2.2.0.tar.gz  ”，如下圖所示：

到此，相信大家對(duì)“如何構(gòu)造分布式Hadoop2.2.0集群”有了更深的了解，不妨來實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！