溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Flink中的Time類型有哪些

發(fā)布時間:2022-01-05 11:32:15 來源:億速云 閱讀:106 作者:iii 欄目:大數(shù)據(jù)

這篇文章主要講解了“Flink中的Time類型有哪些”,文中的講解內(nèi)容簡單清晰,易于學習與理解,下面請大家跟著小編的思路慢慢深入,一起來研究和學習“Flink中的Time類型有哪些”吧!

**Processing Time**

Processing Time 是指事件被處理時機器的系統(tǒng)時間。

當流程序在 Processing Time 上運行時,所有基于時間的操作(如時間窗口)將使用當時機器的系統(tǒng)時間。每小時 Processing Time 窗口將包括在系統(tǒng)時鐘指示整個小時之間到達特定操作的所有事件。

例如,如果應用程序在上午 9:15 開始運行,則第一個每小時 Processing Time 窗口將包括在上午 9:15 到上午 10:00 之間處理的事件,下一個窗口將包括在上午 10:00 到 11:00 之間處理的事件。

Processing Time 是最簡單的 “Time” 概念,不需要流和機器之間的協(xié)調(diào),它提供了最好的性能和最低的延遲。但是,在分布式和異步的環(huán)境下,Processing Time 不能提供確定性,因為它容易受到事件到達系統(tǒng)的速度(例如從消息隊列)、事件在系統(tǒng)內(nèi)操作流動的速度以及中斷的影響。

**Event Time**

Event Time 是事件發(fā)生的時間,一般就是數(shù)據(jù)本身攜帶的時間。這個時間通常是在事件到達 Flink 之前就確定的,并且可以從每個事件中獲取到事件時間戳。在 Event Time 中,時間取決于數(shù)據(jù),而跟其他沒什么關(guān)系。Event Time 程序必須指定如何生成 Event Time 水印,這是表示 Event Time 進度的機制。

完美的說,無論事件什么時候到達或者其怎么排序,最后處理 Event Time 將產(chǎn)生完全一致和確定的結(jié)果。但是,除非事件按照已知順序(按照事件的時間)到達,否則處理 Event Time 時將會因為要等待一些無序事件而產(chǎn)生一些延遲。由于只能等待一段有限的時間,因此就難以保證處理 Event Time 將產(chǎn)生完全一致和確定的結(jié)果。

假設所有數(shù)據(jù)都已到達, Event Time 操作將按照預期運行,即使在處理無序事件、延遲事件、重新處理歷史數(shù)據(jù)時也會產(chǎn)生正確且一致的結(jié)果。 例如,每小時事件時間窗口將包含帶有落入該小時的事件時間戳的所有記錄,無論它們到達的順序如何。

請注意,有時當 Event Time 程序?qū)崟r處理實時數(shù)據(jù)時,它們將使用一些 Processing Time 操作,以確保它們及時進行。

**Ingestion Time**

Ingestion Time 是事件進入 Flink 的時間。 在源操作處,每個事件將源的當前時間作為時間戳,并且基于時間的操作(如時間窗口)會利用這個時間戳。

Ingestion Time 在概念上位于 Event Time 和 Processing Time 之間。 與 Processing Time 相比,它稍微復雜一些,但結(jié)果更可預測。因為 Ingestion Time 使用穩(wěn)定的時間戳(在源處分配一次),所以對事件的不同窗口操作將引用相同的時間戳,而在 Processing Time 中,每個窗口操作符可以將事件分配給不同的窗口(基于機器系統(tǒng)時間和到達延遲)。

與 Event Time 相比,Ingestion Time 程序無法處理任何無序事件或延遲數(shù)據(jù),但程序不必指定如何生成水印。

在 Flink 中,Ingestion Time 與 Event Time 非常相似,但 Ingestion Time 具有自動分配時間戳和自動生成水印功能。  

感謝各位的閱讀,以上就是“Flink中的Time類型有哪些”的內(nèi)容了,經(jīng)過本文的學習后,相信大家對Flink中的Time類型有哪些這一問題有了更深刻的體會,具體使用情況還需要大家實踐驗證。這里是億速云,小編將為大家推送更多相關(guān)知識點的文章,歡迎關(guān)注!

向AI問一下細節(jié)

免責聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI