怎么理解Flink1.10中的時(shí)間機(jī)制

這篇文章將為大家詳細(xì)講解有關(guān)怎么理解Flink1.10中的時(shí)間機(jī)制，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個(gè)參考，希望大家閱讀完這篇文章后對(duì)相關(guān)知識(shí)有一定的了解。

一、概述

   這里我們介紹下Flink的另外一個(gè)核心概念“Event Time機(jī)制”。

二、Flink中的三種時(shí)間機(jī)制

    Flink在流處理程序中支持三種時(shí)間的概念，分別是EventTime、ProcessingTime、IngestionTime，F(xiàn)link流式處理中，絕大部分的業(yè)務(wù)都會(huì)使用EventTime，一般只在EventTime無(wú)法使用時(shí)，考慮其他時(shí)間屬性下面分別介紹下。

1.EventTime 事件時(shí)間

    EventTime是事件發(fā)生的時(shí)間，在進(jìn)行Flink流處理程序之前，這個(gè)時(shí)間就已經(jīng)能包含在了事件中，并且可以從每個(gè)記錄中提取事件時(shí)間戳。

    在EventTime中，時(shí)間的進(jìn)展取決于數(shù)據(jù)，而不是任何墻上的時(shí)鐘。EventTime程序必須指定如何生成事件EventTime Watermarks，這是EventTime進(jìn)展的信號(hào)機(jī)制。這種Watermarks機(jī)制將在下面的小節(jié)中進(jìn)行描述。

    假設(shè)所有數(shù)據(jù)都已到達(dá)，事件時(shí)間操作將按照預(yù)期的方式運(yùn)行，即使在處理無(wú)序或延遲的事件或重新處理歷史數(shù)據(jù)時(shí)，也會(huì)產(chǎn)生正確和一致的結(jié)果。例如，每小時(shí)事件時(shí)間窗口將包含所有記錄，這些記錄攜帶屬于該小時(shí)的事件時(shí)間戳，而與它們到達(dá)的順序無(wú)關(guān)，也與它們被處理的時(shí)間無(wú)關(guān)。

2.ProcessingTime 處理時(shí)間

    ProcessingTime是指執(zhí)行相應(yīng)操作的機(jī)器的系統(tǒng)時(shí)間，ProcessingTime是Flink默認(rèn)的時(shí)間概念，如需使用其他時(shí)間類(lèi)型需要單獨(dú)設(shè)置。

    當(dāng)流程序在處理時(shí)間上運(yùn)行時(shí)，所有基于時(shí)間的操作(如時(shí)間窗口)將使用運(yùn)行各個(gè)operator的機(jī)器的系統(tǒng)時(shí)鐘。每小時(shí)處理時(shí)間窗口將包括在系統(tǒng)時(shí)鐘指示完整小時(shí)之間到達(dá)特定operator的所有記錄。例如，如果一個(gè)應(yīng)用程序在上午9:15開(kāi)始運(yùn)行，那么第一個(gè)每小時(shí)處理時(shí)間窗口將包括上午9:15到10:00之間處理的事件，下一個(gè)窗口將包括上午10:00到11:00之間處理的事件，依此類(lèi)推。

3.IngestionTime 攝入時(shí)間

    IngestionTime是事件進(jìn)入Flink的時(shí)間。在source operator中，每個(gè)記錄以時(shí)間戳的形式獲取源的當(dāng)前時(shí)間，基于時(shí)間的操作(如時(shí)間窗口)引用該時(shí)間戳。

  IngestionTime概念上位于EventTime和ProcessingTime之間。與ProcessingTime相比，它稍微昂貴一些，但是提供了更可預(yù)測(cè)的結(jié)果。由于IngestionTime使用穩(wěn)定的時(shí)間戳(在源處分配一次)，對(duì)記錄的不同窗口操作將引用相同的時(shí)間戳，而在ProcessingTime中，每個(gè)窗口操作人員可以將記錄分配到不同的窗口(基于本地系統(tǒng)時(shí)鐘和任何傳輸延遲)。

    與ProcessingTime相比，IngestionTime程序不能處理任何無(wú)序事件或延遲數(shù)據(jù)，但程序不必指定如何生成Watermarks，因?yàn)樵趦?nèi)部，它自動(dòng)進(jìn)行時(shí)間戳分配和自動(dòng)Watermarks生成。

    下面是Flink官網(wǎng)中對(duì)于時(shí)間標(biāo)識(shí)的一張圖：

4.設(shè)置時(shí)間特性

    通常，我們?cè)贔link初始化流式運(yùn)行環(huán)境時(shí)，就會(huì)設(shè)置流處理時(shí)間特性。這個(gè)設(shè)置很重要，它決定了數(shù)據(jù)流的行為方式。（例如：是否需要給事件分配時(shí)間戳），以及窗口操作應(yīng)該使用什么樣的時(shí)間類(lèi)型；代碼示例：

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();//Flink默認(rèn)的是ProcessingTimeenv.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime);// alternatively:// env.setStreamTimeCharacteristic(TimeCharacteristic.IngestionTime);// env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);

    至此，F(xiàn)link三種時(shí)間機(jī)制講解完畢，上面我們說(shuō)了EventTime必須要指定如何生成事件時(shí)間Watermarks。

關(guān)于怎么理解Flink1.10中的時(shí)間機(jī)制就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到。