大數(shù)據(jù)平臺(tái)日志存儲(chǔ)分析系統(tǒng)的解決方案是怎樣的

大數(shù)據(jù)平臺(tái)日志存儲(chǔ)分析系統(tǒng)的解決方案是怎樣的，相信很多沒有經(jīng)驗(yàn)的人對(duì)此束手無策，為此本文總結(jié)了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個(gè)問題。

大數(shù)據(jù)平臺(tái)日志存儲(chǔ)分析系統(tǒng)是在大數(shù)據(jù)平臺(tái)下，針對(duì)業(yè)務(wù)系統(tǒng)產(chǎn)生的日志記錄進(jìn)行存儲(chǔ)和分析。日志數(shù)據(jù)來自ElasticSearch存儲(chǔ)的日志歷史數(shù)據(jù)，并將需要存儲(chǔ)和分析的日志數(shù)據(jù)從ElasticSearch中讀取到Kafka中。Kafka的消費(fèi)者在偵聽到數(shù)據(jù)消息進(jìn)入后，以流方式獲取數(shù)據(jù)寫入到HBase中。存儲(chǔ)在HBase中的數(shù)據(jù)則是為日志數(shù)據(jù)的檢索與分析提供服務(wù)。Web前端通過調(diào)用后端API檢索HBase中的數(shù)據(jù)，并進(jìn)行透視表的可視化展現(xiàn)，展現(xiàn)后的數(shù)據(jù)支持CSV導(dǎo)出功能。

本解決方案包括的系統(tǒng)功能為：

• 讀取Kafka消息，存儲(chǔ)到HBase

• 檢索HBase數(shù)據(jù)，提供API

• 顯示內(nèi)容的CSV導(dǎo)出

技術(shù)方案

確定該技術(shù)方案的前置條件包括：

• 推送到Kafka的消息已經(jīng)準(zhǔn)備就緒

• HBase的數(shù)據(jù)結(jié)構(gòu)已經(jīng)確定

• 日志檢索條件固定

• 后端API已經(jīng)確定，Web前端會(huì)調(diào)用該API

• Web前端開發(fā)已經(jīng)就緒

技術(shù)架構(gòu)

整個(gè)技術(shù)架構(gòu)如下圖所示：

系統(tǒng)分為三個(gè)模塊：

• LogData Collector：通過Spark Streaming訂閱Kafka的Topic，收集業(yè)務(wù)需要的日志數(shù)據(jù)，然后寫入到HBase中。HBase搭建在HDFS的集群中。

• LogData Searching：這是一個(gè)Spring Boot服務(wù)，通過@RestController暴露API接口給前端。其內(nèi)部則集成Spark，利用Spark SQL查詢HBase數(shù)據(jù)庫(kù)。

• Web UI前端：負(fù)責(zé)調(diào)用LogData Searching服務(wù)，并將數(shù)據(jù)呈現(xiàn)到UI上，并在前端實(shí)現(xiàn)顯示數(shù)據(jù)的導(dǎo)出。

說明：導(dǎo)出功能可能有一個(gè)變化，倘若前端是分頁(yè)顯示，而導(dǎo)出的數(shù)據(jù)是符合檢索條件的全量數(shù)據(jù)，則需要在導(dǎo)出時(shí)調(diào)用LogData Searching服務(wù)，獲得導(dǎo)出所需的數(shù)據(jù)，而非前端已經(jīng)顯示的數(shù)據(jù)。

看完上述內(nèi)容，你們掌握大數(shù)據(jù)平臺(tái)日志存儲(chǔ)分析系統(tǒng)的解決方案是怎樣的的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！