Apache Atlas架構(gòu)原理是什么

本篇內(nèi)容主要講解“Apache Atlas架構(gòu)原理是什么”，感興趣的朋友不妨來(lái)看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來(lái)帶大家學(xué)習(xí)“Apache Atlas架構(gòu)原理是什么”吧!

一、Atlas是什么？

在當(dāng)今大數(shù)據(jù)的應(yīng)用越來(lái)越廣泛的情況下，數(shù)據(jù)治理一直是企業(yè)面臨的巨大問題。

大部分公司只是單純的對(duì)數(shù)據(jù)進(jìn)行了處理，而數(shù)據(jù)的血緣，分類等等卻很難實(shí)現(xiàn)，市場(chǎng)上也急需要一個(gè)專注于數(shù)據(jù)治理的技術(shù)框架，這時(shí)Atlas應(yīng)運(yùn)而生。

Atlas官網(wǎng)地址：https://atlas.apache.org/

Atlas是Hadoop的數(shù)據(jù)治理和元數(shù)據(jù)框架。

Atlas是一組可擴(kuò)展和可擴(kuò)展的核心基礎(chǔ)治理服務(wù)，使企業(yè)能夠有效，高效地滿足Hadoop中的合規(guī)性要求，并允許與整個(gè)企業(yè)數(shù)據(jù)生態(tài)系統(tǒng)集成。

Apache Atlas為組織提供了開放的元數(shù)據(jù)管理和治理功能，以建立其數(shù)據(jù)資產(chǎn)的目錄，對(duì)這些資產(chǎn)進(jìn)行分類和治理，并為數(shù)據(jù)科學(xué)家，分析師和數(shù)據(jù)治理團(tuán)隊(duì)提供圍繞這些數(shù)據(jù)資產(chǎn)的協(xié)作功能。

• Atlas支持各種Hadoop和非Hadoop元數(shù)據(jù)類型

• 提供了豐富的REST API進(jìn)行集成

• 對(duì)數(shù)據(jù)血緣的追溯達(dá)到了字段級(jí)別，這種技術(shù)還沒有其實(shí)類似框架可以實(shí)現(xiàn)

• 對(duì)權(quán)限也有很好的控制

  
  

二、架構(gòu)原理

Atlas包括以下組件：

• 采用Hbase存儲(chǔ)元數(shù)據(jù)

• 采用Solr實(shí)現(xiàn)索引

• Ingest/Export 采集導(dǎo)出組件 Type System類型系統(tǒng) Graph Engine圖形引擎 共同構(gòu)成Atlas的核心機(jī)制

• 所有功能通過API向用戶提供，也可以通過Kafka消息系統(tǒng)進(jìn)行集成

• Atlas支持各種源獲取元數(shù)據(jù)：Hive，Sqoop，Storm。。。

• 還有優(yōu)秀的UI支持

三、效果圖

到此，相信大家對(duì)“Apache Atlas架構(gòu)原理是什么”有了更深的了解，不妨來(lái)實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！