hadoop工程包括哪些模塊

本篇內(nèi)容介紹了“hadoop工程包括哪些模塊”的有關(guān)知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

    Apache Hadoop工程已發(fā)展成一個可靠的(reliable)，輕量的(scalable)，分布式計算(distributed computing)的開源軟件。
 
    Apach Hadoop軟件庫是一個允許用簡單的程序模型對大數(shù)據(jù)集進行跨計算機群集的分布式處理的框架。它的目的(designed to)在于
將計算能力從單個服務(wù)器擴充到成千上萬臺機器，每個機器都可以提供本地計算和存儲。比起依賴單個硬件提供高可用性，
這個庫實現(xiàn)了有目的性的檢測和處理應(yīng)用程序?qū)拥墓收希蚨谟嬎銠C群集上提供了非常高的可用**，單個硬件易于(prone to)
失敗!

    這個工程包括以下模塊：

• Hadoop Common: 支持其它Hadoop模塊的通用工具common utilities）.

• Hadoop Distributed File System (HDFS?): 在訪問應(yīng)用數(shù)據(jù)時提供高吞吐量(high-throughput)的一個分布式文件系統(tǒng)(distributed file system)

• Hadoop YARN: 作業(yè)調(diào)度和群集資源管理的框架

• Hadoop MapReduce: 基于YARN的大型數(shù)據(jù)集并發(fā)處理(parallel processing)系統(tǒng)

在Apache上其它和Hadoop有關(guān)聯(lián)的項目：

• Ambari?: 一個基于web的工具,配置(provisioning),管理(managing)和監(jiān)控,支持Apache Hadoop生態(tài)圈，包括Hadoop HDFS， Hadoop MapReduce, Hive, HCatalog, HBase, ZooKeeper, Oozie, Pig和Sqoop等. Ambari也提供簡潔的圖表去觀察群集的運行狀況，比如熱點圖(heatmaps)和用友好的用戶界面來提供監(jiān)測MapReduce, Pig and Hive 應(yīng)用的視覺特性并診斷其性能特性。

• Avro?: 一個數(shù)據(jù)序列化(serialization)系統(tǒng)

• Cassandra?: 一個沒有單點故障的輕量級的多主(multi-master)數(shù)據(jù)庫

• Chukwa?: 管理大型分布式系統(tǒng)的數(shù)據(jù)集系統(tǒng)

• HBase?: 一個為大型表提供結(jié)構(gòu)化數(shù)據(jù)存儲的輕量級的分布式數(shù)據(jù)庫bles.

• Hive?: 提供數(shù)據(jù)摘要和簡單查詢的數(shù)據(jù)倉庫工具

• Mahout?: 一個輕量級的機器學(xué)習(xí)(machine learning)和數(shù)據(jù)挖掘(data mining)庫

• Pig?: 一個并行parallel computation計算的高級(high-level)數(shù)據(jù)流語言和支持框架 .

• Spark?: Hadoop數(shù)據(jù)的一個快速通用的計算引擎(general compute engine). Spark是一個簡單和富有表現(xiàn)力的編程模型(expressive programming model)，它提供了大范圍的應(yīng)用，包括ETL，機器學(xué)習(xí)(machine learning),流水式處理( stream processing)和圖形計算(graph computation).

• Tez?: 一個構(gòu)建于Hadoop YARN的廣義數(shù)據(jù)流編程框架, 提供強大的,靈活的引擎去運行一個任意的DAG任務(wù)去處理批處理和交互用例的數(shù)據(jù). Tez最先被Hive，Pig和Hadoop生態(tài)系統(tǒng)上其它框架采用，也被其它商業(yè)軟件(如:ETL 工具),作為潛在的執(zhí)行引擎替換Hadoop MapReduce.

• ZooKeeper?: 一個高性能的分布式應(yīng)用協(xié)調(diào)服務(wù)(coordination service)

“hadoop工程包括哪些模塊”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實用文章！