如何遷移Flink任務(wù)到實(shí)時(shí)計(jì)算

如何遷移Flink任務(wù)到實(shí)時(shí)計(jì)算，很多新手對(duì)此不是很清楚，為了幫助大家解決這個(gè)難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來(lái)學(xué)習(xí)下，希望你能有所收獲。

通常用戶在線下主要使用 Flink run，這會(huì)造成一些問(wèn)題，比如：同一個(gè)配置因版本而變化；無(wú)法快速切換不同版本；無(wú)法從之前的作業(yè)恢復(fù)。

那么如何從線下遷移到線上呢？如何將通過(guò)下面四部分來(lái)向大家介紹。

一、如何遷移：從 Flink run 到流計(jì)算平臺(tái)

如下圖的線下命令如何遷移到線上。首先打開(kāi) VVP UI，添加基礎(chǔ)配置，主要包括：作業(yè)名稱、Jar URI、一些主要參數(shù)和并行度。還可以點(diǎn)擊高級(jí)配置，配置更多信息。

比如高級(jí)配置里的行為配置，分為三部分：升級(jí)策略、初始狀態(tài)和恢復(fù)策略。升級(jí)策略一般選擇Stateless，初始狀態(tài)選擇Running，恢復(fù)策略選擇Latest State。

升級(jí)策略選擇Stateless，表示針對(duì)已經(jīng)在運(yùn)行的作業(yè)，編輯并保存配置后，會(huì)直接把原作業(yè)停掉，然后重新啟動(dòng)一個(gè)更新的作業(yè)；選擇Stateble，針對(duì)正在運(yùn)行的作業(yè)做配置編輯并保存的話，作業(yè)會(huì)先做一次Savepoint，然后加載新的配置并使用該 Savepoint啟動(dòng)新的作業(yè)。
恢復(fù)策略選擇LatestSavepoint，是指作業(yè)在暫停情況下，如果再啟動(dòng)，將使用最新的Savepoint啟動(dòng)。
上面介紹的是 Flink 配置中比較重要的部分，下面圖片顯示的是另外一部分可以設(shè)置Checkpoint間隔等的配置，接下來(lái)是資源配置。日志配置部分可以選擇日志保存位置，方便日后如果作業(yè)出現(xiàn)問(wèn)題，可以方便的排查問(wèn)題。

Flink 作業(yè)配置完成并啟動(dòng)運(yùn)行后，如果出現(xiàn)異常，可以通過(guò)運(yùn)行事件查看運(yùn)行情況和問(wèn)題。也可以打開(kāi) Flink UI的Job Manager，查看日志情況。

二、多Jar情況下，用戶如何添加其他依賴的Jar

一些用戶有自定義依賴且無(wú)法通過(guò) fat jar 解決問(wèn)題。舉個(gè)例子，A用戶有自己的main Jar和一些其他的Jar，這些Jar的應(yīng)用場(chǎng)景不一樣，那么首先需要在資源管理頁(yè)面上傳Jar包，上傳完成之后就可以在頁(yè)面使用該文件。
上傳后再到高級(jí)配置中，找到“額外依賴的Jar”，下拉并選擇剛剛上傳的Jar 包就可以了。

三、用戶如何通過(guò)配置文件定義作業(yè)

在資源管理里上傳文件，然后在高級(jí)配置里選添加依賴，選擇需要的依賴。如果啟動(dòng)函數(shù)里，main class是需要讀取某個(gè)文件，先通過(guò)依賴添加文件，然后再根據(jù)提示的方式讀取文件。

以上兩個(gè)方式是放置用戶Jar的方式，jar 和其他文件都可以在這里存放。

四、如何復(fù)用原來(lái)的state加速作業(yè)恢復(fù)

如果在運(yùn)行作業(yè)時(shí)發(fā)現(xiàn)問(wèn)題，一般情況下是停下來(lái)然后找到問(wèn)題修復(fù)后再重啟。用戶需要在創(chuàng)建的時(shí)候指定 Checkpoint 需要的 OSS。 如果開(kāi)啟了Checkpoint，后續(xù)作業(yè)就可以直接從Checkpoint中恢復(fù)。
首先確認(rèn)高級(jí)配置中恢復(fù)策略選擇LatestState或LatestSavepoint。在這個(gè)前提下，可以暫停作業(yè)（千萬(wàn)不要停止作業(yè)），暫停會(huì)觸發(fā)Savepoint，當(dāng)再次點(diǎn)擊啟動(dòng)時(shí)，會(huì)從這次Savepoint點(diǎn)恢復(fù)。

打開(kāi) Flink UI ，然后點(diǎn)擊作業(yè)快照，在作業(yè)快照中可以查看 Flink Checkpoint指標(biāo)，里面會(huì)顯示Restore的次數(shù)和最后一次Restore的地址等信息，可確定作業(yè)是從最新的 State 恢復(fù)。

當(dāng)作業(yè)正在運(yùn)行，想對(duì)當(dāng)前作業(yè)進(jìn)項(xiàng)拷貝，如何操作呢？在作業(yè)控制頁(yè)面點(diǎn)擊Checkpoint，找到歷史快照并點(diǎn)擊其對(duì)應(yīng)的最右側(cè)的“從該快照復(fù)制作業(yè)”，那么就完成了把當(dāng)前作業(yè)復(fù)制的操作，復(fù)制內(nèi)容包括正在運(yùn)行作業(yè)的Jar 包配置等。點(diǎn)擊啟動(dòng)后，可以從作業(yè)快照中查看到新作業(yè)是從上個(gè)作業(yè)最近的一次Savepoint中復(fù)制啟動(dòng)的。

看完上述內(nèi)容是否對(duì)您有幫助呢？如果還想對(duì)相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章，請(qǐng)關(guān)注億速云行業(yè)資訊頻道，感謝您對(duì)億速云的支持。