flink為什么會成為最火計算引擎

小編給大家分享一下flink為什么會成為最火計算引擎，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

初識Flink

我是在兩年前隨公司參加一個會議上知道的Flink,那是一家做大數(shù)據(jù)安全的公司，利用大數(shù)據(jù)分析安全威脅預(yù)警。當(dāng)時會議上他們展示了三種流計算技術(shù)，大家應(yīng)該都知道，也就是最常見的Storm、SparkStreaming與Flink。Storm的標(biāo)記是‘過去’，SparkStreaming的標(biāo)記是‘現(xiàn)在’，而Flink上的標(biāo)記是‘未來’。當(dāng)時我們的業(yè)務(wù)沒有實時處理，所以對這方面不了解。但是我就記住了‘未來’這兩個字。

后來業(yè)務(wù)中增加了實時計算相關(guān)的處理，那么開始之前就對實時計算的三種技術(shù)做了一些調(diào)研。Storm，SparkStreaming，F(xiàn)Link。其實本身也沒做什么相關(guān)的調(diào)研，只是基于當(dāng)時的那場會議，直接排除了Storm。僅在SparkStreaming與Flink之間做了選型。而最終選擇了FLink。

為什么是Flink？

1. 高吞吐，低延遲，高性能
   針對于這三個特性,Flink在社區(qū)內(nèi)屬于唯一,也就是唯一一個能夠同時支持三種特性的實時處理框架。而其他的SparkStreaming，Storm等均無法同時支持三個特性，SparkStreaming是micro batch處理的特性，所以本身無法做到低延遲的保障，僅能做到高性能，高吞吐。Storm只能支持高性能與低延遲。
   所以在實際業(yè)務(wù)使用中，同時保證三個特性的框架對于選型來說是至關(guān)重要的。

2. 支持event time，process time，igest time
   FLink支持事件時間,也就是數(shù)據(jù)本身的時間，事件時間對于計算、處理等至關(guān)重要，能夠防止對于出現(xiàn)亂序到達(dá)而造成的數(shù)據(jù)計算錯誤。保持?jǐn)?shù)據(jù)原本的時序性，避免由于網(wǎng)絡(luò)、硬件等造成的計算結(jié)果的誤差。
   而其他系統(tǒng)采用的處理時間，系統(tǒng)時間等可能就會由于網(wǎng)絡(luò)、硬件、甚至是系統(tǒng)啟動問題都會造成數(shù)據(jù)的計算錯誤。
   

3. 有狀態(tài)計算
   Flink中包含狀態(tài)管理，能夠通過數(shù)據(jù)計算的中間結(jié)果狀態(tài)存儲到內(nèi)存或文件中，等下一批事件到來的時候即可獲取到狀態(tài)信息接續(xù)統(tǒng)計結(jié)果。這樣由于無需再次重新計算將會極大的提升系統(tǒng)的性能。

4. 靈活的窗口機(jī)制
   在實時處理的場景中，數(shù)據(jù)是連續(xù)不斷的。實時處理的場景中同樣包含對于一段范圍數(shù)據(jù)的處理，例如一分鐘，100條等場景。那么Flink中提供窗口機(jī)制實現(xiàn)靈活的數(shù)據(jù)切割辦法，對100條數(shù)據(jù)或一分鐘等計算提供簡單的實現(xiàn)方案。
   Flink提供的窗口如上有數(shù)據(jù)驅(qū)動，時間驅(qū)動。窗口可以劃分為滾動窗口，翻滾窗口，會話窗口等。窗口自由組合實現(xiàn)不同的數(shù)據(jù)場景。

5. 高容錯性
   Flink提供了容錯機(jī)制，對于數(shù)據(jù)處理過程中由于硬件、網(wǎng)絡(luò)等問題造成的集群異常均可以通過容錯機(jī)制進(jìn)行恢復(fù)。容錯性保證了數(shù)據(jù)的exactly-once

調(diào)研的問題

其實當(dāng)時選擇Flink是非常的不合理的,當(dāng)時主流的實時處理框架還是SparkStreaming,Flink在當(dāng)時占比還是很低，相關(guān)的書籍，文檔完全不足。對于前方有多少的坑多大的坑完全不了解。最終磕磕碰碰的把相關(guān)的需求實現(xiàn)。
調(diào)研本身對于技術(shù)的是市場占比還是很需要關(guān)注的，畢竟是小公司很難有阿里云那種能夠?qū)ｉT的抽取一個小團(tuán)隊對于新技術(shù)進(jìn)行跟進(jìn)，甚至是拉分支進(jìn)行開發(fā)。調(diào)研技術(shù)本身可能對于該技術(shù)前方有多少坑了解清楚更重要。對于公司，業(yè)務(wù)來講沒有完美的技術(shù)，只有最合適的技術(shù)。而對于創(chuàng)業(yè)公司來講，能夠?qū)崿F(xiàn)快速迭代，快速學(xué)習(xí)，快速掌握，有人給趟平了坑更加重要。

以上是“flink為什么會成為最火計算引擎”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注億速云行業(yè)資訊頻道！