Cloudera下如何實(shí)現(xiàn)Hadoop

小編給大家分享一下Cloudera下如何實(shí)現(xiàn)Hadoop，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

前言

Hadoop 是一個(gè)實(shí)現(xiàn)了 MapReduce 計(jì)算模型的開(kāi)源分布式并行編程框架。MapReduce的概念來(lái)源于Google實(shí)驗(yàn)室，它是一個(gè)簡(jiǎn)化并行計(jì)算的編程模型，適用于大規(guī)模集群上的海量數(shù)據(jù)處理，目前最成功的應(yīng)用是分布式搜索引擎。隨著2007年底該模式Java開(kāi)源實(shí)現(xiàn)項(xiàng)目Apache Hadoop的出現(xiàn)，使得程序員可以輕松地編寫(xiě)分布式并行程序，并將其運(yùn)行于計(jì)算機(jī)集群上，完成海量數(shù)據(jù)的計(jì)算。近兩年尤其是今年國(guó)內(nèi)外采用 MapReduce模型的應(yīng)用也逐漸豐富起來(lái)，如像NTT KDDI和中國(guó)移動(dòng)這類的電信公司采用該模型分析用戶信息，優(yōu)化網(wǎng)絡(luò)配置；美國(guó)供電局采用該模型來(lái)分析電網(wǎng)現(xiàn)狀；包括VISA和JP摩根在內(nèi)的金融公司采用該模型來(lái)分析股票數(shù)據(jù)；包括Amazon和ebay在內(nèi)的零售商和電子商務(wù)公司也開(kāi)始采用該模型；甚至部分生物公司也采用該模型來(lái)進(jìn)行DNA測(cè)序和分析。然而Hadoop安裝、部署、管理的難度非常大，這使用很多用戶對(duì)Hadoop望而卻步，好在這種情況不久就得到了改善，Cloudera提供了非常簡(jiǎn)單的Hadoop的發(fā)布版本，能夠十分方便地對(duì)Hadoop進(jìn)行安裝、部署和管理，這導(dǎo)致目前大約有75％的Hadoop新用戶使用Cloudera。下面是利用Cloudera 實(shí)現(xiàn)Hadoop 的具體規(guī)劃。

規(guī)劃

運(yùn)行模式

Hadoop有三種運(yùn)行模式：?jiǎn)螜C(jī)（非分布）運(yùn)行模式、偽分布運(yùn)行模式和分布式運(yùn)行模式。其中前兩種運(yùn)行模式體現(xiàn)不了 Hadoop 分布式計(jì)算的優(yōu)勢(shì)，并沒(méi)有什么實(shí)際意義（當(dāng)然它們對(duì)程序的測(cè)試及調(diào)試還是很有幫助的），因此在這里還是采用實(shí)際環(huán)境中使用的分布式運(yùn)行模式來(lái)部署。

主機(jī)規(guī)劃

在這里擬采用三臺(tái)主機(jī)搭建Hadoop環(huán)境，由于后期還需要測(cè)試增刪主機(jī)及跨網(wǎng)段主機(jī)對(duì)Hadoop環(huán)境的影響，特將Hadoop主機(jī)規(guī)劃如下：Hadoop-01 10.137.253.201Hadoop-02 10.137.253.202Hadoop-03 10.137.253.203 準(zhǔn)備后期加入的測(cè)試主機(jī)Hadoop-04 10.137.253.204Firehare-303 10.10.3.30  準(zhǔn)備后期加入的跨網(wǎng)段測(cè)試主機(jī)

Hadoop環(huán)境規(guī)劃

對(duì)于Hadoop來(lái)說(shuō)，最主要的是兩個(gè)內(nèi)容，一是分布式文件系統(tǒng)HDFS，一是MapReduce計(jì)算模型。在分布式文件系統(tǒng)HDFS看來(lái)，節(jié)點(diǎn)分為NameNode 和DataNode，其中NameNode只有一個(gè)，DataNode可以是很多；在MapReduce計(jì)算模型看來(lái)，節(jié)點(diǎn)又可分為JobTracker 和 TaskTracker，其中JobTracker只有一個(gè)，TaskTracker可以是很多。因此在實(shí)際的Hadoop環(huán)境中通常有兩臺(tái)主節(jié)點(diǎn),一臺(tái)作為NameNode（I/O節(jié)點(diǎn)？？）,一臺(tái)作為JobTracker（管理節(jié)點(diǎn)？？）,剩下的都是從節(jié)點(diǎn)，同時(shí)當(dāng)做DataNode和 TaskTracker使用。當(dāng)然也可以將NameNode和JobTracker安裝在一臺(tái)主節(jié)點(diǎn)上。由于測(cè)試機(jī)數(shù)量有限，所以在這里是讓 Hadoop-01做為Namenode和Jobtracker，其它主機(jī)則作為DataNode和TaskTracker（如果Hadoop環(huán)境中主機(jī)數(shù)量很多的話，還是建議將Namenode和JobTracker部署到不同的主機(jī)，以提高計(jì)算的性能）。

以上是“Cloudera下如何實(shí)現(xiàn)Hadoop”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！