Flink+HBase場景化的解決方案是什么

Flink+HBase場景化的解決方案是什么，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學習下，希望你能有所收獲。

Flink+HBase所提供實時計算場景解決方案。

實時計算市場競爭分析——傳統(tǒng)廠商
在實時計算的市場中，IBM以及Oracle等傳統(tǒng)IT廠商布局和起步比較早，因此其所能夠提供的場景也就非常豐富，無論是2B還是2C，這些傳統(tǒng)廠商都擁有非常豐富的產(chǎn)品。但是，他們所提供的產(chǎn)品往往也比較昂貴，并且需要本地化的部署。除此之外，在云化的過程中，IBM和Oracle的整體表現(xiàn)也欠佳，因此這些傳統(tǒng)廠商也在積極地尋求更多云化的場景。

實時計算市場競爭分析——云廠商

除了上述所提到的傳統(tǒng)IT巨頭之外，很多的云計算廠商也正在實時計算方面積極地進行布局。比如Google在大數(shù)據(jù)相關(guān)領(lǐng)域一直在進行投入，其也在2014年的時候進軍實時計算領(lǐng)域，Google在實時計算領(lǐng)域的主打產(chǎn)品就是Dataflow。微軟Azure和AWS分別在2015年和2016年進入實時計算領(lǐng)域，阿里云和華為同在2017年進入實時計算領(lǐng)域，而騰訊云則是在2018年剛開始布局。總之，云廠商在實時計算領(lǐng)域起步都比較晚，所涉及的場景也比較淺，但是在價格比較具有優(yōu)勢，因此未來的發(fā)展空間是巨大的。

業(yè)界開源技術(shù)生態(tài)分析

目前，在業(yè)界的實時計算以及流計算領(lǐng)域，開源技術(shù)生態(tài)主要產(chǎn)出了三代產(chǎn)品：第一代產(chǎn)品以Storm為代表，第二代以Spark為代表，第三代則以Flink為代表。這里重點介紹一下Flink，F(xiàn)link是有狀態(tài)的實時計算處理引擎，而正式因為Flink具有狀態(tài)，因此其非常適合在事件處理上做一些場景化的解決方案，并且可以進一步演化為微服務框架，所以Flink也是一項非常適合微服務場景的技術(shù)。

同時，大家也可以看到從去年到今年的年初的這段時間里面，F(xiàn)link也是整個Apache社區(qū)中用戶最為活躍的項目。但是，阿里云實時計算團隊在使用中也發(fā)現(xiàn)，F(xiàn)link還是一個偏向于PaaS層的技術(shù)，而客戶無法直接通過使用Flink來解決自己的場景化需求，在Flink的前面需要像Kafka這樣的工具實現(xiàn)數(shù)據(jù)的導入，在其后面還需要一些像HBase這樣的存儲工具幫助實現(xiàn)數(shù)據(jù)的存儲。因此，想要通過Flink解決實時計算場景的問題，還是需要一整套生態(tài)來幫助。

Flink容器化解決方案——架構(gòu)
阿里云實時計算團隊一直在思考如何將這些開源技術(shù)整合到一起，使得他們能夠真正地解決客戶所面對的問題，幫助客戶解決“最后一公里”的問題。因為像Flink這樣PaaS層的工具，如果無法幫助客戶解決這“最后一公里”的問題，那么產(chǎn)品就不會被客戶所接受。在阿里云的Flink容器化解決方案中，底層構(gòu)建在Google的K8S的容器上，在上端除了導入了Flink的實時計算引擎之外，在架構(gòu)中還將Flink上游的Kafka和下游的HBase等組件也加入進來。因此，F(xiàn)link容器化解決方案在Google的K8S框架下，能夠提供所有的數(shù)據(jù)處理能力。如果客戶還有其他的需求，還可以將相應的服務以K8S的Orchestra方式添加進來。

在架構(gòu)中更上面的一層，阿里云Flink容器化解決方案希望能夠提供更加貼近用戶的SaaS層服務。在實時計算+Flink或者HBase方面，阿里云實時計算團隊針對于自身所服務的客戶進行了用戶畫像，最終抽象出了針對于幾個主要的行業(yè)的容器化服務，比如針對于安全行業(yè)以及城市大腦等的規(guī)則引擎，針對于銀行以及其他風控領(lǐng)域的決策引擎，此外還有針對于語音處理、自然語言處理以及視頻分析的場景，并且還有實時在線數(shù)據(jù)分析以及實時人工智能的場景。

除此之外，阿里云實時計算團隊還希望在基礎的服務層之上將一些更貼近客戶的“PaaS+”服務也整合進來，于是在Flink容器化解決方案的架構(gòu)中還為客戶提供了系統(tǒng)管理員界面和用戶開發(fā)界面。因此，對于阿里云的Flink容器化解決方案而言，主要就是按照以上的思路去設計更加細化的、鏡像技術(shù)疊加的解決方案和產(chǎn)品。

實時容器化計算解決方案——生態(tài)合作伙伴
對于阿里云的實時容器計算解決方案而言，非常希望能夠引入更多的生態(tài)合作伙伴，希望更多的在垂直領(lǐng)域具有豐富經(jīng)驗的合作伙伴能夠不斷加入進來，將更多的偏向于SaaS層的解決方案構(gòu)建在該平臺之上，比如增加更多可插拔的或者更加易用的解決方案，成為產(chǎn)品或者解決方案的分銷渠道或者交付渠道，承擔擴容、交付以及售后服務的通道。阿里云非常希望通過生態(tài)或者渠道等方式共同構(gòu)建起融合Flink、HBase以及Kafka等產(chǎn)品的實時容器化計算生態(tài)，構(gòu)建產(chǎn)品形態(tài)的端到端閉環(huán)。

Flink實時計算的典型場景

如下圖所示的是阿里云Flink實時計算的典型場景，該產(chǎn)品于2018年10月正式上線，經(jīng)過上線之后的半年時間，通過阿里云對于客戶進行的用戶畫像和分析發(fā)現(xiàn)，云上的很多實時計算產(chǎn)品在使用程度上還是較淺的。目前，云上實時計算產(chǎn)品大致能夠觸達3個主要的領(lǐng)域，即數(shù)據(jù)分析、事件驅(qū)動和數(shù)據(jù)處理。

對于數(shù)據(jù)分析類場景而言，主要的產(chǎn)品就是實時數(shù)據(jù)大屏，比如在阿里雙11也有超級數(shù)據(jù)大屏的展示，實時數(shù)據(jù)大屏里面就包括了實時的BI等場景和解決方案。對于事件驅(qū)動類場景，主要的產(chǎn)品就是實時監(jiān)控和實時風控相關(guān)的產(chǎn)品，因為Flink是有狀態(tài)的，因此其天生就具備事件處理能力。而在實際的場景中發(fā)現(xiàn)，很多客戶會組合規(guī)則引擎、決策引擎以及指標監(jiān)控和調(diào)優(yōu)等多種場景。更進一步就是數(shù)據(jù)處理類的場景，其實Flink+HBase屬于強計算場景，因此也希望能夠出現(xiàn)更多的強計算場景，比較常見就像是城市交通大腦，如今全國很多城市都部署了大量的交通攝像頭，每天都會產(chǎn)生大量視頻監(jiān)控數(shù)據(jù)，因此需要強計算場景進行支撐。此外，比如在線教育等領(lǐng)域，也有很多的視頻沉淀下來。對于實時數(shù)據(jù)處理而言，需要在生產(chǎn)或者生活等方面尋找能夠產(chǎn)生大量數(shù)據(jù)的場景，阿里云也希望在這樣的場景下提供更多的能力和服務。

在線教育——實時視頻分析場景
阿里云實時計算團隊通過前期和客戶的深入溝通沉淀了很多場景，如下圖所示的就是在線教育的實時視頻分析場景。阿里云之前在城市大腦等領(lǐng)域?qū)τ趯崟r視頻分析探索得較為充分，但是在偏向于民用的領(lǐng)域，尤其是在與日常生活相關(guān)的方面，實時視頻分析解決方案的應用還不夠深入。因此，從2018年底到2019年初的這段時間里，阿里云實時計算團隊和中國頂尖的在線教育領(lǐng)域的獨角獸公司進行了多輪深入的溝通，充分地挖掘了這些客戶在實時視頻分析領(lǐng)域的一些需求。從大體上可以認為，在線教育領(lǐng)域?qū)τ谕ㄟ^視頻分析來判斷課程質(zhì)量、監(jiān)督課程進展狀況具有很強烈的需求，而阿里云認為Flink+HBase+Kafka這樣的實時容器化計算解決方案在像在線教育這樣的民用視頻分析領(lǐng)域可以發(fā)揮很好的作用。

在線教育——實時預測場景

對于在線教育領(lǐng)域而言，除了上面所提到的實時視頻分析場景之外，還存在著實時預測的場景。比如在線教育平臺上可能每天的每個時段都會有大量的課程開放出來，因此就會產(chǎn)生大量的視頻數(shù)據(jù)，在這些課程中間往往會有大約5分鐘的課間。而在這5分鐘的課間時間，在線教育平臺就希望能夠?qū)τ谒械木W(wǎng)絡和服務器等基礎設施以及平臺系統(tǒng)的運行狀況進行評估，通過借助機器學習進行預測，預測平臺在未來的30分鐘內(nèi)還能夠開放出多少門課程，這也是Flink+HBase在Online的機器學習方面的一個應用場景。針對于這樣的場景，阿里云實時計算團隊也正在和客戶進行探討，希望能夠在這樣的場景下實現(xiàn)更多具有參考價值的優(yōu)秀案例。

城市大腦——實時視頻分析場景

如下圖所示的就是阿里巴巴投入較多的城市大腦項目。城市大腦目前已經(jīng)在杭州、上海以及?？诘榷鄠€城市落地，其底層就是通過實時計算與HBase的組合，進而實現(xiàn)對于整個視頻流的處理和分析。這些被處理的視頻數(shù)據(jù)往往來自于城市中的高清攝像頭，這些高清攝像頭能夠?qū)崟r地獲取大量的數(shù)據(jù)并傳輸?shù)匠鞘写竽X中。而想要通過城市大腦實現(xiàn)紅綠燈的實時調(diào)配就需要Flink構(gòu)成的數(shù)據(jù)實時處理平臺，數(shù)據(jù)處理之后再將整個動態(tài)視頻數(shù)據(jù)所產(chǎn)生的特征值以及相關(guān)指標都存儲到HBase里面，并在后續(xù)疊加多種類型的算法對數(shù)據(jù)進行分析，進而實現(xiàn)對整個城市交通的智能化治理。這是實時視頻分析處理的典型場景，同時也是目前中國一線城市和諸多省會級城市都在實踐的場景。

實時欺詐檢測(風控)場景

如下圖所示的是實時欺詐檢測的場景，也就是風控場景。對于風控而言，不僅有金融類的風控，還有營銷類的風控等，類型多種多樣。拿營銷類風控來舉例子，首先，用戶的行為經(jīng)過APP上報或者Web日志記錄下來，之后發(fā)送到一個消息隊列中去，然后通過風險模型和規(guī)則引擎進行實時計算，進而產(chǎn)生一些消息預警。

看完上述內(nèi)容是否對您有幫助呢？如果還想對相關(guān)知識有進一步的了解或閱讀更多相關(guān)文章，請關(guān)注億速云行業(yè)資訊頻道，感謝您對億速云的支持。