溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

日志實(shí)時(shí)分析架構(gòu)

發(fā)布時(shí)間：2020-07-12 19:36:41 來(lái)源：網(wǎng)絡(luò) 閱讀：6323 作者：workming 欄目：網(wǎng)絡(luò)安全

在上家公司工作時(shí)，設(shè)計(jì)的日志收集與實(shí)時(shí)分析架構(gòu)，還是比較簡(jiǎn)單的:

flume-ng + rocketmq + storm + redis + 前端展示

日志實(shí)時(shí)分析架構(gòu)


消息隊(duì)列部分，我們剛開始采用的是kafka，但 kafka在支持回溯消費(fèi)和重復(fù)消費(fèi)方面比較弱，同時(shí)在數(shù)據(jù)安全方面也相對(duì)弱一些，后來(lái)我們改為阿里的rocketmq。


考慮到我們的數(shù)據(jù)量也不是很大，已經(jīng)能夠足夠支撐，但在rocketmq這層，有時(shí)會(huì)因?yàn)榫W(wǎng)絡(luò)異常問(wèn)題，會(huì)產(chǎn)生消息堆積，導(dǎo)致消息隊(duì)列被沖爆，穩(wěn)定性還不是非常高，后來(lái)咨詢了其他部門的同事，他們的做法是，在消息隊(duì)列這一層次，額外增加了一層mongodb，消息隊(duì)列這層僅保留消息的索引信息，消息的實(shí)體信息保存在mongodb中，可以很好地回避此問(wèn)題，后來(lái)由于各種原因就沒有再去嘗試此方法......日志實(shí)時(shí)分析架構(gòu)


其他一些常用方案：

logstash + elasticsearch + kibana

fluentd + influxdb + grafana

flume-ng + kafka + storm

kafka + spark streaming + redis



向AI問(wèn)一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手