hadoop商業(yè)版本之間有哪些區(qū)別

這篇文章給大家分享的是有關(guān)hadoop商業(yè)版本之間有哪些區(qū)別的內(nèi)容。小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過(guò)來(lái)看看吧。

hadoop商業(yè)版本選擇對(duì)比

記得剛接觸到hadoop的時(shí)候跟大部分人一樣都會(huì)抱怨hadoop的安裝部署問(wèn)題，對(duì)于一個(gè)新手來(lái)說(shuō)這這的是個(gè)頭疼的問(wèn)題，可能需要花費(fèi)一整天的時(shí)間才能把分布式環(huán)境安裝配置好。在剛接觸hadoop的一段時(shí)間里，可以說(shuō)對(duì)于hadoop的理解一直都是停留在相對(duì)較膚淺的層面。后來(lái)隨著自己的不斷摸索以及向圈內(nèi)的前輩大神請(qǐng)教交流（主要是向大神請(qǐng)教學(xué)來(lái)的），自己對(duì)于hadoop的認(rèn)識(shí)以及應(yīng)用也就更加?jì)故臁?/p>

作為一個(gè)過(guò)來(lái)人，在這里給新人分享一些關(guān)于hadoop版本選擇的問(wèn)題，希望別像我當(dāng)時(shí)傻乎乎的只知道hadoop有1.0.x和2.x版本。

當(dāng)前hadoop的發(fā)行版本除了Apache的開(kāi)元版本之外，華為發(fā)行版、Intel發(fā)行版以及Cloudera發(fā)行版等。上面說(shuō)的這幾個(gè)第三方的發(fā)行版已經(jīng)有相對(duì)較長(zhǎng)的一些時(shí)間，除此之外還有最近幾年異軍突起的DKhadoop商業(yè)發(fā)行版。

國(guó)內(nèi)的大多數(shù)公司推出的Hadoop發(fā)行版都是收費(fèi)的，免費(fèi)的發(fā)行版則主要是國(guó)外的，比如Apache的發(fā)行版、Cloudera發(fā)行版等。面對(duì)如此多的hadoop版本不免會(huì)讓人難以選擇。下面我們就簡(jiǎn)單對(duì)比一些這些不同版本的優(yōu)缺點(diǎn)，希望對(duì)于新手能夠有所幫助。

Apache發(fā)行版：

優(yōu)點(diǎn)：Apache發(fā)行版的優(yōu)點(diǎn)主要集中表現(xiàn)在它的完全開(kāi)源免費(fèi)、社區(qū)活躍性以及文檔、資料詳實(shí)等方面。

缺點(diǎn)：Apache發(fā)行版的缺點(diǎn)也相對(duì)較多，具體表現(xiàn)在以下幾個(gè)方面：

1. 復(fù)雜的版本管理。版本管理比較混亂，各種版本層出不窮，讓使用者不知所措。

2. 復(fù)雜的集群部署、安裝、配置。通常按照集群需要編寫(xiě)大量的配置文件，分發(fā)到每一臺(tái)節(jié)點(diǎn)上，容易出錯(cuò)，效率低下。

3. 復(fù)雜的集群運(yùn)維。對(duì)集群的監(jiān)控，運(yùn)維，需要安裝第三方的其他軟件，如ganglia，nagois等，運(yùn)維難度較大。

4. 復(fù)雜的生態(tài)環(huán)境。在Hadoop生態(tài)圈中，組件的選擇、使用，比如Hive，Mahout，Sqoop，F(xiàn)lume，Spark，Oozie等等，需要大量考慮兼容性的問(wèn)題，版本是否兼容，組件是否有沖突，編譯是否能通過(guò)等。經(jīng)常會(huì)浪費(fèi)大量的時(shí)間去編譯組件，解決版本沖突問(wèn)題。

第三方發(fā)行版本的優(yōu)缺點(diǎn)：（如CDH，HDP，MapR等）

優(yōu)點(diǎn)：第三方發(fā)行版本的優(yōu)點(diǎn)主要有以下幾個(gè)：

1. 基于Apache協(xié)議，100%開(kāi)源；

2. 相較于原生的hadoop在兼容性、安全型以及穩(wěn)定性方面有所提升；

3. 版本管理清晰，更新更快；

4. 提供了部署、安裝、配置工具，大大提高了集群部署的效率，可以在幾個(gè)小時(shí)內(nèi)部署好集群；

5. 運(yùn)維簡(jiǎn)單。提供了管理、監(jiān)控、診斷、配置修改的工具，管理配置方便，定位問(wèn)題快速、準(zhǔn)確，使運(yùn)維工作簡(jiǎn)單，有效。

缺點(diǎn)：第三方hadoop發(fā)行版的主要缺點(diǎn)就是涉及到廠商鎖定的問(wèn)題，但這一問(wèn)題可以通過(guò)技術(shù)方面解決掉。

DKhadoop發(fā)行版：

Dkhadoop發(fā)行版是我目前接觸的以及使用一個(gè)版本。與市場(chǎng)的其他第三方的發(fā)行版本相比較，整合程度要更高，但同樣也保持了開(kāi)源系統(tǒng)的全部?jī)?yōu)點(diǎn)。綜合目前使用的情況看，在性能上相較于以往使用的一些第三方hadoop發(fā)行版要提升很多的！關(guān)于DKhadoop發(fā)行版的問(wèn)題，感興趣的可以自己去查閱收集一些資料看看。

感謝各位的閱讀！關(guān)于“hadoop商業(yè)版本之間有哪些區(qū)別”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)，如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！