Hadoop入門基礎(chǔ)知識有哪些

本篇內(nèi)容介紹了“Hadoop入門基礎(chǔ)知識有哪些”的有關(guān)知識，在實(shí)際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

　　1、Hadoop概述

　　Hadoop 是 Apache 旗下的一個用 Java 語言實(shí)現(xiàn)開源軟件框架，它還是一個開發(fā)和運(yùn)行處理大規(guī)模數(shù)據(jù)的軟件平臺。Hadoop允許使用簡單的編程模型，在大量計算機(jī)集群上，對大型數(shù)據(jù)集進(jìn)行分布式處理。

　　狹義上說，Hadoop 指 Apache 這款開源框架，它的核心組件有：HDFS(分布式文件系統(tǒng))：解決海量數(shù)據(jù)存儲 ;YARN(作業(yè)調(diào)度和集群資源管理的框架)：解決資源任務(wù)調(diào)度;MAPREDUCE(分布式運(yùn)算編程框架)：解決海量數(shù)據(jù)計算。

　　廣義上來說，Hadoop 通常是指一個更廣泛的概念——Hadoop 生態(tài)圈。當(dāng)下的 Hadoop 已經(jīng)成長為一個龐大的體系，隨著生態(tài)系統(tǒng)的成長，新出現(xiàn)的項目越來越多，其中不乏一些非 Apache 主管的項目，這些項目對 HADOOP 是很好的補(bǔ)充或者更高層的抽象。比如，HDFS： 分 布 式 文 件 系 統(tǒng);MAPREDUCE：分布式運(yùn)算程序開發(fā)框架;HIVE：基于 HADOOP 的分布式數(shù)據(jù)倉庫，提供基于 SQL 的查詢數(shù)據(jù)操作;HBASE：基于Hadoop的分布式海量數(shù)據(jù)庫;ZOOKEEPER：分布式協(xié)調(diào)服務(wù)基礎(chǔ)組件;Mahout：基于 mapreduce/spark/flink 等分布式運(yùn)算框架的機(jī)器學(xué)習(xí)算法庫;OOZIE：工作流調(diào)度框架;Sqoop：數(shù)據(jù)導(dǎo)入導(dǎo)出工具;FLUME：日志數(shù)據(jù)采集框架;IMPALA：基于 hive 的實(shí)時 sql 查詢分析。

　　2、Hadoop的發(fā)展歷程

　　Hadoop 是 Apache Lucene 創(chuàng)始人 Doug Cutting 創(chuàng)建的。最早起源于 Nutch， 它是 Lucene 的子項目。Nutch 的設(shè)計目標(biāo)是構(gòu)建一個大型的全網(wǎng)搜索引擎，包括網(wǎng)頁抓取、索引、查詢等功能，但隨著抓取網(wǎng)頁數(shù)量的增加，遇到了嚴(yán)重的可擴(kuò)展性問題：如何解決數(shù)十億網(wǎng)頁的存儲和索引問題。

　　2003 年 Google 發(fā)表了一篇論文為該問題提供了可行的解決方案。論文中描述的是谷歌的產(chǎn)品架構(gòu)，該架構(gòu)稱為：谷歌分布式文件系統(tǒng)(GFS),可以解決他們在網(wǎng)頁爬取和索引過程中產(chǎn)生的超大文件的存儲需求。

　　2004 年 Google 發(fā)表論文向全世界介紹了谷歌版的MapReduce 系統(tǒng)。 同時期，Nutch 的開發(fā)人員完成了相應(yīng)的開源實(shí)現(xiàn) HDFS 和 MAPREDUCE，并從Nutch 中剝離成為獨(dú)立項目 HADOOP，到 2008 年 1 月，HADOOP 成為 Apache 頂級項目，迎來了它的快速發(fā)展期。

　　2006 年 Google 發(fā)表了論文是關(guān)于 BigTable 的，這促使了后來的 Hbase的發(fā)展。 因此，Hadoop 及其生態(tài)圈的發(fā)展離不開 Google 的貢獻(xiàn)。

　　3、Hadoop的特性

　　(1)擴(kuò)容能力：Hadoop 是在可用的計算機(jī)集群間分配數(shù)據(jù)并完成計算任務(wù)的，這些集群可用方便的擴(kuò)展到數(shù)以千計的節(jié)點(diǎn)中。

　　(2)成本低：Hadoop 通過普通廉價的機(jī)器組成服務(wù)器集群來分發(fā)以及處理數(shù)據(jù)，以至于成本很低。

　　(3)高效率：通過并發(fā)數(shù)據(jù)，Hadoop 可以在節(jié)點(diǎn)之間動態(tài)并行的移動數(shù)據(jù)，使得速度非?？?。

　　(4)可靠性：能自動維護(hù)數(shù)據(jù)的多份復(fù)制，并且在任務(wù)失敗后能自動地重新部署計算任務(wù)。所以 Hadoop 的按位存儲和處理數(shù)據(jù)的能力值得人們信賴。

　　4、Hadoop的應(yīng)用

　　Hadoop 最受青睞的行業(yè)是互聯(lián)網(wǎng)領(lǐng)域，可以說互聯(lián)網(wǎng)公司是 hadoop 的主要使用力量。國外來說，Yahoo、Facebook、IBM 等公司都大量使用 hadoop 集群來支撐業(yè)務(wù)。比如：Yahoo 的 Hadoop 應(yīng)用在支持廣告系統(tǒng)、用戶行為分析、支持 Web 搜索等。 Facebook 主要使用 Hadoop 存儲內(nèi)部日志與多維數(shù)據(jù)，并以此作為報告、分析和機(jī)器學(xué)習(xí)的數(shù)據(jù)源。

　　國內(nèi)來說，BAT 領(lǐng)頭的互聯(lián)網(wǎng)公司是當(dāng)仁不讓的 Hadoop 使用者、維護(hù)者。比如 Ali 云梯(14 年國內(nèi)最大 Hadoop 集群)、百度的日志分析平臺、推薦引擎系統(tǒng)等。國內(nèi)其他非互聯(lián)網(wǎng)領(lǐng)域也有不少 hadoop 的應(yīng)用，比如：金融行業(yè)的個人征信分析，證券行業(yè)的投資模型分析，還有交通行業(yè)的車輛、路況監(jiān)控分析和電信行業(yè)的用戶上網(wǎng)行為分析 。

“Hadoop入門基礎(chǔ)知識有哪些”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！