Flink中有界數(shù)據(jù)與無界數(shù)據(jù)的示例分析

這篇文章主要介紹Flink中有界數(shù)據(jù)與無界數(shù)據(jù)的示例分析，文中介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們一定要看完！

有界數(shù)據(jù)集

有界數(shù)據(jù)集對開發(fā)者來說都很熟悉，在常規(guī)的處理中我們都會從Mysql，文本等獲取數(shù)據(jù)進(jìn)行計算分析。我們在處理此類數(shù)據(jù)時，特點就是數(shù)據(jù)是靜止不動的。也就是說，沒有再進(jìn)行追加。又或者說再處理的當(dāng)時時刻不考慮追加寫入操作。所以有界數(shù)據(jù)集又或者說是有時間邊界。在某個時間內(nèi)的結(jié)果進(jìn)行計算。那么這種計算稱之為批計算，批處理。Batch Processing

例如:計算當(dāng)前訂單量。又或者是把當(dāng)前mysql的數(shù)據(jù)讀取到文件中等。

無界數(shù)據(jù)集

對于某些場景，類似于Kafka持續(xù)的計算等都被認(rèn)定為無界數(shù)據(jù)集，無界數(shù)據(jù)集是會發(fā)生持續(xù)變更的、連續(xù)追加的。例如:服務(wù)器信令、網(wǎng)絡(luò)傳輸流、實時日志信息等。對于此類持續(xù)變更、追加的數(shù)據(jù)的計算方式稱之為流計算。Streaming Processing

場景比較

無界數(shù)據(jù)集與有界數(shù)據(jù)集有點類似于池塘和江河，我們在計算池塘中的魚的數(shù)量時只需要把池塘中當(dāng)前所有的魚都計算一次就可以了。那么當(dāng)前時刻，池塘中有多少條魚就是結(jié)果。無界數(shù)據(jù)集類似于江河中的魚，在奔流到海的過程中每時每刻都會有魚流過而進(jìn)入大海。那么計算魚的數(shù)量就像是持續(xù)追加的。

有界數(shù)據(jù)集與無界數(shù)據(jù)集是一個相對模糊的概念，如果數(shù)據(jù)一條一條的經(jīng)過處理引擎那么則可以認(rèn)為是無界的，那么如果每間隔一分鐘、一小時、一天進(jìn)行一次計算那么則認(rèn)為這一段時間的數(shù)據(jù)又相對是有界的。有界的數(shù)據(jù)又可以把數(shù)據(jù)一條一條的通過計算引擎，造成無界的數(shù)據(jù)集。所以，有界數(shù)據(jù)集與無界數(shù)據(jù)集可以存在互換的。因此業(yè)內(nèi)也就開始追尋 批流統(tǒng)一 的框架。 

能夠同時實現(xiàn)批處理與流處理的框架有Apache Spark和Apache Flink，而Apache Spark的流處理場景是一個微批場景，也就是它會在特定的時間間隔發(fā)起一次計算。而不是每條都會觸發(fā)計算。也就是相當(dāng)于把無界數(shù)據(jù)集切分為小量的有界數(shù)據(jù)。

Apache Flink基于有界數(shù)據(jù)集與無界數(shù)據(jù)集的特點，最終將批處理與流處理混合到同一套引擎當(dāng)中，用戶使用Apache Flink引擎能夠同時實現(xiàn)批處理與流處理任務(wù)。

以上是“Flink中有界數(shù)據(jù)與無界數(shù)據(jù)的示例分析”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對大家有幫助，更多相關(guān)知識，歡迎關(guān)注億速云行業(yè)資訊頻道！