如何編譯Atlas

Atlas就是把元數(shù)據(jù)變成圖的工具。

http://atlas.apache.org/

Atlas是一組可擴展和可擴展的核心基礎(chǔ)治理服務(wù)，使企業(yè)能夠有效地滿足Hadoop中的合規(guī)性要求，并允許與整個企業(yè)數(shù)據(jù)生態(tài)系統(tǒng)集成。

Apache Atlas為組織提供開放的元數(shù)據(jù)管理和治理功能，以建立其數(shù)據(jù)資產(chǎn)的目錄，對這些資產(chǎn)進行分類和治理，并為數(shù)據(jù)科學家，分析師和數(shù)據(jù)治理團隊提供圍繞這些數(shù)據(jù)資產(chǎn)的協(xié)作功能。

那么如何安裝并使用Altas呢？

Atlas的安裝坑較多，本教程將詳細介紹Atlas2.1.0整個安裝過程，有任何問題歡迎關(guān)注 實時流式計算

后臺留言~

下載

請前往官網(wǎng) https://atlas.apache.org/#/Downloads

下載對應(yīng)版本的源碼包 本文使用最新的 2.1.0版本

國內(nèi)站點 速度要快一些

https://mirrors.tuna.tsinghua.edu.cn/apache/atlas/2.1.0/apache-atlas-2.1.0-sources.tar.gz

編譯

比較難受的是 Atlas不提供安裝包 下載的是源碼包 需要自行編譯打包

注意，需要先安裝maven，因為這是使用maven開發(fā)的java web工程。maven3.6.3版本即可

安裝maven

一些下載地址

http://maven.apache.org/download.cgi

https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz

上傳到linux的/usr/local目錄

cd /usr/local

解壓文件

tar -zxvf apache-maven-3.6.3-bin.tar.gz

配置環(huán)境變量

vi /etc/profile

export MAVEN_HOME=/usr/local/apache-maven-3.6.3
export PATH=MAVEN_HOME/bin:PATH

刷新環(huán)境變量

source /etc/profile

檢查版本

mvn -v

配置好maven的環(huán)境變量 注意國內(nèi)需要配置好maven的國內(nèi)鏡像，一般使用阿里，華為，清華等鏡像 vi /usr/local/apache-maven-3.6.3/conf/settings.xml

<mirror>
    <id>alimaven</id>
    <name>aliyun maven</name>
    <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
    <mirrorOf>central</mirrorOf>
</mirror>

把這個setting.xml 拷貝到 ~/.m2/

cp settings.xml .m2/

編譯Atlas

解壓源碼包

tar -zxvf apache-atlas-2.1.0-sources.tar.gz

1.修改atlas源碼工程的pom.xml

將hbase zookeeper hive等依賴的版本修改成自己環(huán)境中一致的版本（或者兼容的版本）

父工程pom文件
<zookeeper.version>3.4.14</zookeeper.version>
<hbase.version>2.2.3</hbase.version>
<solr.version>7.7.2</solr.version>

2.執(zhí)行maven編譯打包

atlas可以使用內(nèi)嵌的hbase-solr作為底層索引存儲和搜索組件，也可以使用外置的hbase和solr 如果要使用內(nèi)嵌的hbase-solr，則使用如下命令進行編譯打包 cd apache-atlas-sources-2.1.0/ export MAVEN_OPTS="-Xms2g -Xmx2g" mvn clean -DskipTests package -Pdist,embedded-hbase-solr

不用內(nèi)置就這樣 mvn clean -DskipTests package -Pdist

改完路徑還會非?？斓?耐心等待

atlas的webui子模塊中依賴了nodejs，會從nodejs的中央倉庫去下載相關(guān)依賴庫

編譯完成之后，會產(chǎn)生打包結(jié)果，所在位置是：源碼目錄中的新出現(xiàn)的distro/target目錄

• 注意，這里產(chǎn)出的有壓縮包也有解壓后的包。這里面的hook包，可以看到有各種平臺的hook包。

• 顧名思義，這就是鉤子包，也就是各個大數(shù)據(jù)框架會提供各種生命周期回調(diào)函數(shù)，并且將相關(guān)信息以數(shù)據(jù)方式提供出來。這些鉤子就可以去監(jiān)聽和接收數(shù)據(jù)

如果沒有錯誤 并看到一排success就是成功了