您好,登錄后才能下訂單哦!
1. 大數(shù)據(jù)和Hadoop
研究學(xué)習(xí)大數(shù)據(jù),自然要從Hadoop開始。 Hadoop不是一個(gè)簡單的軟件,而是有一些列軟件形成的生態(tài),其核心思想來自Google當(dāng)初發(fā)布的三篇論文,后來做了開源的實(shí)現(xiàn), 谷歌的實(shí)現(xiàn)和Hadoop的實(shí)現(xiàn)大致可以做這樣的對應(yīng):
Google Map/Reduce <---> Hadoop MapReduce Google GFS <---> Hadoop HDFS Google BigTable <---> Hadoop HBase
Hadoop生態(tài)的所有組成部分,都是跑在linux環(huán)境下的,自然我們首先需要搭建linux環(huán)境。另外Hadoop之所以能處理“大”數(shù)據(jù),是因?yàn)槠浞植际降奶匦?,可以利用分布式?jì)算構(gòu)建服務(wù)器集群,并可根據(jù)需要擴(kuò)展。為了學(xué)習(xí),我們先在本地計(jì)算機(jī)上利用虛擬機(jī)搭建linux環(huán)境,要模型集群環(huán)境,就多創(chuàng)建幾個(gè)虛擬機(jī)就可以了。
為了玩兒這套東西,因?yàn)橐獎(jiǎng)?chuàng)建幾個(gè)虛擬機(jī),所以的你的電腦內(nèi)存最好不小于8G,因?yàn)榕蹾adoop一般一個(gè)虛擬機(jī)需要2G,隨便開3臺虛擬機(jī)就占不少內(nèi)存了。 不過前期為了學(xué)習(xí),我先只給每臺虛擬機(jī)分配1G內(nèi)存,后面不夠了在調(diào)整就行了。
2. 為什么選VirtualBox?
提起虛擬機(jī),自然首先想到的就是大名鼎鼎的VMware。 VMware是老牌虛擬機(jī)軟件,網(wǎng)上教程也很多。我之所以選用VirtualBox,主要是因?yàn)閘icense的問題。 我手頭只有一臺MacBook pro, 不想話太多時(shí)間在軟件license上折騰,所以選擇了免費(fèi)的VirtualBox. VirtualBox的安裝過程乏善可陳,就是常規(guī)操作,不說了。
3. 虛擬機(jī)中安裝CentOS
前面提到,我的主力計(jì)算機(jī)是一臺MacBook Pro. 之前為方面,利用Parallel Desktop虛擬了一臺Windows 出來,這里不提。
linux系統(tǒng)我選擇了CentOS,首先從CentOS官網(wǎng)下載系統(tǒng)的ISO文件。在VirtualBox里新建一個(gè)虛擬機(jī),類型選Linux,版本隨便選一個(gè)就行了,因?yàn)槔锩鏇]有看到有CentOS,不過隨便選一個(gè)也沒問題。 注意最好選一下文件夾,也就是虛擬機(jī)文件存放的位置,因?yàn)殡S著裝的東西越來越多,虛擬機(jī)文件可能會越來越大。我的電腦硬盤都快撐滿了,所以掛了個(gè)外接硬盤,把虛擬機(jī)文件放在了外接硬盤上,需要時(shí)插上用,雖然不方便,但也只好將就了。
其他參數(shù)可以都按默認(rèn),虛擬機(jī)創(chuàng)建成功后,點(diǎn)設(shè)置,切換到存儲,在光驅(qū)那里選擇下載的CentOS系統(tǒng)的ISO文件,這樣虛擬機(jī)啟動(dòng)后就可以進(jìn)入CentOS的安裝了。
安裝CentOS7 操作系統(tǒng)也不說了,都是圖形化界面,沒什么難度。
4. 網(wǎng)絡(luò)環(huán)境配置遇到的坑
Linux安裝成功后的網(wǎng)絡(luò)設(shè)置這里需要說一下,我在這上面踩了不少坑。我希望我的網(wǎng)絡(luò)環(huán)境是這樣的。首先我們希望Linux虛擬機(jī)能夠連接互聯(lián)網(wǎng),這樣以后需要下載什么組件時(shí)能方便些。其次希望能用Host機(jī)器也就是MacBook中訪問到Linux虛擬機(jī),以便ssh登錄上去。VirtualBox默認(rèn)的小窗口實(shí)在很小,看著眼花,雖然也可以調(diào)大,但畢竟在宿主下操作更方便些,所以還是需要從MacBook上ssh過去。但是請注意,CentOS剛剛安裝完成后是不能聯(lián)網(wǎng)的,還需要做相關(guān)的設(shè)置才行。
4.1 Linux虛擬機(jī)連接互聯(lián)網(wǎng)
虛擬機(jī)的網(wǎng)絡(luò)設(shè)置默認(rèn)可選用“網(wǎng)絡(luò)地址轉(zhuǎn)換NAT” ,虛擬機(jī)會創(chuàng)建一個(gè)NAT網(wǎng)絡(luò)。
虛擬機(jī)安裝后默認(rèn)沒有開啟網(wǎng)絡(luò),所以不能聯(lián)網(wǎng),需要啟動(dòng)虛擬機(jī),登錄后更改網(wǎng)絡(luò)配置。
vi /etc/sysconfig/network-scripts/ifcfg-enp0s3
把ONBOOT修改為yes,以便讓linux 啟動(dòng)后即啟動(dòng)網(wǎng)絡(luò)。 更改后按ESC,然后 :wq 退出保存。可以不用重啟,通過下面的命令重啟網(wǎng)絡(luò)服務(wù),以便使更改生效。
systemctl restart network
這時(shí)候可以通過命令 ``` ip addr``` 查看,你會看到網(wǎng)絡(luò)已經(jīng)有了一個(gè)IP地址,比如我的是 10.0.2.15。如圖:
現(xiàn)在你如果 ping www.baidu.com
,應(yīng)該發(fā)現(xiàn)已經(jīng)能夠聯(lián)網(wǎng)了。
4.2 從宿主機(jī)Macbook訪問Linux虛擬機(jī)
另外,但從主機(jī)Macbook還是不能ping通這個(gè)地址,就是說主機(jī)還不能訪問虛擬機(jī)。要讓主機(jī)MacBook和虛擬機(jī)linux互通,就需要讓這兩個(gè)機(jī)器在同一個(gè)網(wǎng)段里。 VirtualBox里的“管理”菜單下,打開“主機(jī)網(wǎng)絡(luò)管理器”,創(chuàng)建一個(gè),如圖,可以看到創(chuàng)建了一個(gè)192.168.56.1的虛擬網(wǎng)卡。
這時(shí)候如果你在MacBook的終端中使用ifconfig命令查看,你會發(fā)現(xiàn),多出來一個(gè)vboxnet0的網(wǎng)卡,ip地址就是192.168.56.1
danieldu@daniels-MacBook-Pro-857 ~ ifconfig lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> mtu 16384 options=1203<RXCSUM,TXCSUM,TXSTATUS,SW_TIMESTAMP> inet 127.0.0.1 netmask 0xff000000 inet6 ::1 prefixlen 128 inet6 fe80::1%lo0 prefixlen 64 scopeid 0x1 nd6 options=201<PERFORMNUD,DAD> gif0: flags=8010<POINTOPOINT,MULTICAST> mtu 1280 stf0: flags=0<> mtu 1280 en0: flags=8863<UP,BROADCAST,SMART,RUNNING,SIMPLEX,MULTICAST> mtu 1500 ether ac:bc:32:c1:ed:dd inet6 fe80::1c82:47a:64f:460f%en0 prefixlen 64 secured scopeid 0x4 inet 192.168.31.46 netmask 0xffffff00 broadcast 192.168.31.255 nd6 options=201<PERFORMNUD,DAD> media: autoselect status: active ....
vboxnet0: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> mtu 1500 ether 0a:00:27:00:00:00 inet 192.168.56.1 netmask 0xffffff00 broadcast 192.168.56.255 utun1: flags=8051<UP,POINTOPOINT,RUNNING,MULTICAST> mtu 1380 inet6 fe80::f655:9c6f:ca10:240e%utun1 prefixlen 64 scopeid 0xc nd6 options=201<PERFORMNUD,DAD>
...
然后需要VirtualBox中對應(yīng)的虛擬機(jī)設(shè)置中,增加一個(gè)網(wǎng)卡2. 選擇“僅主機(jī)(Host-Only)網(wǎng)絡(luò)”,界面名稱就是之前看到的vboxnet0.
然后登錄到虛擬機(jī), 利用“ip addr” 命令查看,你會發(fā)現(xiàn)多出來一個(gè)網(wǎng)卡enp0s8。 從enp0s3 復(fù)制一個(gè),然后編輯這個(gè)文件,這次更改為固定IP地址。
cp /etc/sysconfig/network-scripts/ifcfg-enp0s3/etc/sysconfig/network-scripts/ifconfig-enp0s8
然后 重啟網(wǎng)絡(luò) "systemctl restart network". 這時(shí)候就可以從主機(jī)Macbook 訪問虛擬機(jī)了。
4.3關(guān)閉Linux防火墻
從上面的設(shè)置看到, 主機(jī)MacBook 的IP是 192.168.56.1, 虛擬機(jī)Linux設(shè)置了靜態(tài)地址為 192.168.56.100. 現(xiàn)在已經(jīng)在一個(gè)網(wǎng)段內(nèi)了,應(yīng)該內(nèi)ping通。如果你ping不通,那很可能是防火墻的問題。 首先MacBook要關(guān)閉防火墻。
然后確保虛擬機(jī)Linux的也關(guān)閉防火墻,默認(rèn)防火墻是開著的。
檢查一下ssh服務(wù),默認(rèn)應(yīng)該是開著的
你現(xiàn)在應(yīng)該能從mac的終端通過ssh登錄到linux了。
總結(jié)
以上所述是小編給大家介紹的在Mac上利用VirtualBox搭建本地虛擬機(jī)環(huán)境的方法,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時(shí)回復(fù)大家的。在此也非常感謝大家對億速云網(wǎng)站的支持!如果你覺得本文對你有幫助,歡迎轉(zhuǎn)載,煩請注明出處,謝謝!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。