基于akka和data-sketch技術(shù)的實時數(shù)據(jù)統(tǒng)計服務是怎么樣的

本篇文章給大家分享的是有關基于akka和data-sketch技術(shù)的實時數(shù)據(jù)統(tǒng)計服務是怎么樣的，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

實時流數(shù)據(jù)分析服務： 實時提交分析數(shù)據(jù),實時獲取分析結(jié)果

    之前一直在一家公司做埋點的后臺數(shù)據(jù)處理分析程序，在碰到很多問題后就產(chǎn)生一個想法，能不能直接弄一個數(shù)據(jù)分析服務,

用戶可以隨時調(diào)用分析服務的接口提交分析數(shù)據(jù)和獲取分析結(jié)果

技術(shù)背景：

• data-sketch對常見的統(tǒng)計需求，如count(distinct), quantiles, topN等 在精確程度，存儲成本，計算成本之間進行了折衷，對每一個計算元素只touch一次的情況下，得到精度相當高的統(tǒng)計結(jié)果。

• akka是一個實現(xiàn)了actor pattern的異步編程 library。業(yè)務功能都被封閉成actor， 相互之間的調(diào)用或狀態(tài)改變，通過message傳遞完成，無狀態(tài)共享.

目前封裝了三種計算模型:

• theta sketch:基數(shù)計算，即計算count(distinct)

• quantile sketch:分位數(shù)計算，即計算一系列數(shù)值的分布情況

• frequency sketch:頻率計算，即topn計算

數(shù)據(jù)安全性:

• 提交數(shù)據(jù)使用wss,獲取數(shù)據(jù)使用https,數(shù)據(jù)不會被中途截取

• 后臺服務不存儲任何原始數(shù)據(jù),算后即扔,服務端只有分析后的數(shù)據(jù)

• 相關計算參數(shù),比如userid,business,可以hash或混淆后再傳值

• 由于目前只做authenticate,開發(fā)者應注意appid的保密性,建議后臺調(diào)用

目前整個服務后臺算是完成了0.5左右吧，由于是試驗性質(zhì)，目前只用了一臺阿里云的ES,下一步要做的工作有兩方面，

  1. 增加統(tǒng)計模型

  2. 增加對akka cluster 的支持，使整個后臺服務能力可擴展

以上就是基于akka和data-sketch技術(shù)的實時數(shù)據(jù)統(tǒng)計服務是怎么樣的，小編相信有部分知識點可能是我們?nèi)粘９ぷ鲿姷交蛴玫降摹ＯＭ隳芡ㄟ^這篇文章學到更多知識。更多詳情敬請關注億速云行業(yè)資訊頻道。