您好,登錄后才能下訂單哦!
由于Hadoop需要運(yùn)行在Linux環(huán)境中,而且是分布式的,因此個(gè)人學(xué)習(xí)只能裝虛擬機(jī),本文都以VMware Workstation為準(zhǔn),安裝CentOS7,具體的安裝此處不作過多介紹,只作需要用到的知識介紹。
VMware的安裝,裝好一個(gè)虛擬機(jī)后利用復(fù)制虛擬機(jī)的方式創(chuàng)建后面幾個(gè)虛擬機(jī),省時(shí)省力,需要注意的是需要修改每個(gè)虛擬機(jī)的IP與主機(jī)名。
所有虛擬機(jī)采用NAT模式上網(wǎng),而且要保證與物理主機(jī)的IP互相能訪問。
需要注意的幾個(gè)問題。nat如果上網(wǎng)首先需要查看物理機(jī)(pc機(jī))這個(gè)服務(wù)器已經(jīng)啟動(dòng)。上網(wǎng)的原理:流量是走的物理網(wǎng)卡,但是它的ip,卻是和物理機(jī)沒有關(guān)系的。也就是說,無論你怎么更換網(wǎng)絡(luò)環(huán)境,你的虛擬機(jī)都不需要做改變。這就是它的優(yōu)點(diǎn)。
首先在安裝VMware 之后,我們會看到多了兩個(gè)網(wǎng)卡
這個(gè)如果經(jīng)過網(wǎng)絡(luò)配置的折磨,應(yīng)該能找到著兩個(gè)網(wǎng)卡:vmnet1和vmnet8,這里講的是vmnet8。
重點(diǎn)看右側(cè)第三圖你會看到ip地址,這個(gè)ip地址,因個(gè)人而異,也就是說不同網(wǎng)絡(luò),不同環(huán)境,這個(gè)ip變化的概率是很大的??赡苁?92.168.0.1等等。這里也相當(dāng)于我們編程的一個(gè)變量,這里是需要你根據(jù)你的環(huán)境來賦值的,建議vmnet1到vmnet8分別設(shè)置192.168.10.1到192.168.80.1,好作區(qū)分。
上面我們通過看到的虛擬機(jī)網(wǎng)卡的ip,為了避免混肴,上面的虛擬網(wǎng)卡和本地網(wǎng)絡(luò)適配器處于同一界面。如下圖:
而下面則是在打開虛擬機(jī)之后,通過菜單彈出
彈出之后,我們在看一下虛擬機(jī)的(交換機(jī))vmnet8.
可以看到vmnet8子網(wǎng)ip和虛擬機(jī)網(wǎng)卡是出于同一個(gè)網(wǎng)段的。
同時(shí)在右側(cè)net設(shè)置界面,我們可以看到網(wǎng)關(guān)為:192.168.106.2,改成192.168.80.2 虛擬機(jī)的設(shè)置會用到。
Linux基礎(chǔ)知識
Linux的學(xué)習(xí)也是一個(gè)過程,因?yàn)榭赡苣氵B最簡單的開機(jī)和關(guān)機(jī)命令都不會,更不要談配置網(wǎng)絡(luò)。這里面給大家提供剛開始學(xué)習(xí)所查閱的資料和經(jīng)驗(yàn)總結(jié)。
首先我們需要使用一些命令,進(jìn)行網(wǎng)絡(luò)配置,但是在網(wǎng)絡(luò)配置中,這里面又必須懂得虛擬機(jī)的一些知識,所以前面的虛擬機(jī)知識需要掌握扎實(shí)一些。
在此注意CentOS7與CentOS6的命令有些不同,會一些常用命令是必備,每次開機(jī)或啟動(dòng)解壓安裝授權(quán)都是最基本的知識,其它的可以暫時(shí)不用學(xué)。
CentOS中安裝java環(huán)境
下載對應(yīng)32或64位jdk,設(shè)置好JDK環(huán)境變量PATH,具體的配置可自行Google。
環(huán)境準(zhǔn)備
修改機(jī)器名,每個(gè)系統(tǒng)中都要修改成這樣。
打開終端,切換到root用戶下修改機(jī)器名稱。
$ sudo su
$ vim /etc/sysconfig/network
在其中添加“HOSTNAME=H32”
添加每個(gè)服務(wù)器IP對應(yīng)的機(jī)器名
三個(gè)ip地址都添加到各自的/etc/hosts文件中
每個(gè)系統(tǒng)中都要修改成這樣
#編輯hosts
vim /etc/hosts
關(guān)閉SELinux
#編輯 SELinux 配置文件
vim /etc/selinux/config
#改狀態(tài)
SELINUX=disabled
SSH設(shè)置
進(jìn)入H30,查看ssh是否安裝,如果有,繼續(xù),沒有安裝下。
rpm -qa|grep ssh
時(shí)間服務(wù)器安裝
這里需要安裝時(shí)間服務(wù)器,其他的服務(wù)器通過這個(gè)來進(jìn)行多機(jī)器時(shí)間的同步,分布式部署時(shí)機(jī)器時(shí)間不一致會導(dǎo)致數(shù)據(jù)錯(cuò)誤或組件內(nèi)通訊錯(cuò)誤。
安裝httpd服務(wù)
httpd是Apache超文本傳輸協(xié)議(HTTP)服務(wù)器的主程序。被設(shè)計(jì)為一個(gè)獨(dú)立運(yùn)行的后臺進(jìn)程,它會建立一個(gè)處理請求的子進(jìn)程或線程的池。
安裝yum-utils
yum install yum-utils 用于在線yum安裝 它是基於RPM包管理,能夠從指定的服務(wù)器自動(dòng)下載RPM包并且安裝,可以自動(dòng)處理依賴性關(guān)系,并且一次安裝所有依賴的軟體包,無須繁瑣地一次次下載、安裝。yum提供了查找、安裝、刪除某一個(gè)、一組甚至全部軟件包的命令,而且命令簡潔而又好記。(需要機(jī)器能訪問外網(wǎng))
準(zhǔn)備資源和環(huán)境
下載Centos 7.2 的iso安裝鏡像,jdk1.8 for Linux壓縮包,hadoop2.7.3壓縮包(本來用hadoop3,發(fā)現(xiàn)后面不兼容hive的最新版本)
Java基礎(chǔ)知識
由于Hadoop框架源碼都是以Java來寫,因此最好都以Java作為開發(fā)的最佳語言,雖然說有些用C#做了封裝,但性能已大打折扣。(這就是為什么說Java的學(xué)大數(shù)據(jù)有很大的優(yōu)勢,其它語言的還需要重新學(xué)習(xí)Java)
Eclipse IDE使用
Linux和Windows下源碼編譯技術(shù)
還有最重要的是你的網(wǎng)速要好,因?yàn)榘惭b過程中會下載依賴包,網(wǎng)不好會卡到你懷疑人生。
最后還需要有耐心,每臺機(jī)子的環(huán)境都不一樣,而且每個(gè)人下載的包的版本也有可能不一樣 會導(dǎo)致各種問題,此時(shí)就需要耐心的去看日志,不停的嘗試和仔細(xì)的對比安裝步驟,可能就是少了個(gè)變量 或大小寫錯(cuò)誤或是要重啟。
為了幫助大家讓學(xué)習(xí)變得輕松、高效,給大家免費(fèi)分享一大批資料,幫助大家在成為大數(shù)據(jù)工程師,乃至架構(gòu)師的路上披荊斬棘。在這里給大家推薦一個(gè)大數(shù)據(jù)學(xué)習(xí)交流圈:658558542 歡迎大家進(jìn)×××流討論,學(xué)習(xí)交流,共同進(jìn)步。
當(dāng)真正開始學(xué)習(xí)的時(shí)候難免不知道從哪入手,導(dǎo)致效率低下影響繼續(xù)學(xué)習(xí)的信心。
但最重要的是不知道哪些技術(shù)需要重點(diǎn)掌握,學(xué)習(xí)時(shí)頻繁踩坑,最終浪費(fèi)大量時(shí)間,所以有有效資源還是很有必要的。
最后祝福所有遇到瓶疾且不知道怎么辦的大數(shù)據(jù)程序員們,祝福大家在往后的工作與面試中一切順利。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。