基于ClickHouse的用戶行為大數(shù)據(jù)架構(gòu)是怎樣的

這篇文章給大家介紹基于ClickHouse的用戶行為大數(shù)據(jù)架構(gòu)是怎樣的，內(nèi)容非常詳細(xì)，感興趣的小伙伴們可以參考借鑒，希望對(duì)大家能有所幫助。

SDK埋點(diǎn)采集行為數(shù)據(jù)來源終端包括iOS、安卓、Web、H5、微信小程序等。不同終端SDK采用對(duì)應(yīng)平臺(tái)和主流語言的SDK，埋點(diǎn)采集到的數(shù)據(jù)通過JSON數(shù)據(jù)以HTTP POST方式提交到服務(wù)端API。

服務(wù)端API由數(shù)據(jù)接入系統(tǒng)組成，采用Nginx來接收通過 API 發(fā)送的數(shù)據(jù)，并且將之寫到日志文件上。使用Nginx實(shí)現(xiàn)高可靠性與高可擴(kuò)展性。

對(duì)于Nginx打印到文件的日志，會(huì)由Flume的 Source 模塊來實(shí)時(shí)讀取Nginx日志，并由Channel模塊進(jìn)行數(shù)據(jù)處理，最終通過Sink模塊將處理結(jié)果發(fā)布到 Kafka中。

Kafka是一個(gè)廣泛使用的高可用的分布式消息隊(duì)列，作為數(shù)據(jù)接入與數(shù)據(jù)處理兩個(gè)流程之間的緩沖，同時(shí)也作為近期數(shù)據(jù)的一個(gè)備份。

在Flume處理時(shí)，根據(jù)版本號(hào)識(shí)別到是測試數(shù)據(jù)，會(huì)寫入kafka的測試分支，此分支會(huì)將行為日志的JSON數(shù)據(jù)寫入MySQL，為開發(fā)人員提供埋點(diǎn)開發(fā)調(diào)試過程中的確認(rèn)。對(duì)線上業(yè)務(wù)沒有影響。

在Flume識(shí)別到生產(chǎn)數(shù)據(jù)，會(huì)寫入kafka的生產(chǎn)分支。后端由Flink將Kafka中數(shù)據(jù)進(jìn)行必要的ETL與實(shí)時(shí)維度join操作，形成規(guī)范的明細(xì)數(shù)據(jù)，并寫回Kafka以便下游與其他業(yè)務(wù)使用。再通過Flink將明細(xì)數(shù)據(jù)分別寫入ClickHouse和Hive打成大寬表，前者作為查詢與分析的核心，后者作為備份和數(shù)據(jù)質(zhì)量保證。

關(guān)于基于ClickHouse的用戶行為大數(shù)據(jù)架構(gòu)是怎樣的就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。