AirFlow管理界面怎么使用

今天就跟大家聊聊有關(guān)AirFlow管理界面怎么使用，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

AirFlow管理界面的使用

AirFlow 的webserver UI

DAGS

1. 左側(cè) On/Off 按鈕控制 DAG 的運(yùn)行狀態(tài)，Off 為暫停狀態(tài)，On 為運(yùn)行狀態(tài)。注意：所有 DAG 腳本初次部署完成時(shí)均為 Off 狀態(tài)。

2. 若 DAG 名稱處于不可點(diǎn)擊狀態(tài)，可能為 DAG 被刪除或未載入。若 DAG 未載入，可點(diǎn)擊右側(cè)刷新按鈕進(jìn)行刷新。注意：由于可以部署若干 WebServer，所以單次刷新可能無(wú)法刷新所有 WebServer 緩存，可以嘗試多次刷新。

3. Recent Tasks 會(huì)顯示最近一次 DAG Run（可以理解為 DAG 的執(zhí)行記錄）中 Task Instances（可以理解為作業(yè)的執(zhí)行記錄）的運(yùn)行狀態(tài)，如果 DAG Run 的狀態(tài)為 running，此時(shí)顯示最近完成的一次以及正在運(yùn)行的 DAG Run 中所有 Task Instances 的狀態(tài)。

4. Last Run 顯示最近一次的 execution date。注意：execution date 并不是真實(shí)執(zhí)行時(shí)間，具體細(xì)節(jié)在下文 DAG 配置中詳述。將鼠標(biāo)移至 execution date 右側(cè) info 標(biāo)記上，會(huì)顯示 start date，start date 為真實(shí)運(yùn)行時(shí)間。start date 一般為 execution date 所對(duì)應(yīng)的下次執(zhí)行時(shí)間。

作業(yè)操作框

在 DAG 的樹(shù)狀圖和 DAG 圖中都可以點(diǎn)擊對(duì)應(yīng)的 Task Instance 以彈出 Task Instance 模態(tài)框，以進(jìn)行 Task Instance 的相關(guān)操作。注意：選擇的 Task Instance 為對(duì)應(yīng) DAG Run 中的 Task Instance。

1. 在作業(yè)名字的右邊有一個(gè)漏斗符號(hào)，點(diǎn)擊后整個(gè) DAG 的界面將只顯示該作業(yè)及該作業(yè)的依賴作業(yè)。當(dāng)該作業(yè)所處的 DAG 較大時(shí)，此功能有較大的幫助。

2. Task Instance Details 顯示該 Task Instance 的詳情，可以從中得知該 Task Instance 的當(dāng)前狀態(tài)，以及處于當(dāng)前狀態(tài)的原因。例如，若該 Task Instance 為 no status 狀態(tài)，遲遲不進(jìn)入 queued 及 running 狀態(tài)，此時(shí)就可通過(guò) Task Instance Details 中的 Dependency 及 Reason 得知原因。

3. Rendered 顯示該 Task Instance 被渲染后的命令。

4. Run 指令可以直接執(zhí)行當(dāng)前作業(yè)。

5. Clear 指令為清除當(dāng)前 Task Instance 狀態(tài)，清除任意一個(gè) Task Instance 都會(huì)使當(dāng)前 DAG Run 的狀態(tài)變更為 running。注意：如果被清除的 Task Instance 的狀態(tài)為 running，則會(huì)嘗試 kill 該 Task Instance 所執(zhí)行指令，并進(jìn)入 shutdown 狀態(tài)，并在 kill 完成后將此次執(zhí)行標(biāo)記為 failed（如果 retry 次數(shù)沒(méi)有用完，將標(biāo)記為 up_for_retry）。Clear 有額外的5個(gè)選項(xiàng)，均為多選，這些選項(xiàng)從左到右依次為：

1. Past: 同時(shí)清除所有過(guò)去的 DAG Run 中此 Task Instance 所對(duì)應(yīng)的 Task Instance。

2. Future: 同時(shí)清除所有未來(lái)的 DAG Run 中此 Task Instance 所對(duì)應(yīng)的 Task Instance。注意：僅清除已生成的 DAG Run 中的 Task Instance。

3. Upstream: 同時(shí)清除該 DAG Run 中所有此 Task Instance 上游的 Task Instance。

4. Downstream: 同時(shí)清除該 DAG Run 中所有此 Task Instance 下游的 Task Instance。

5. Recursive: 當(dāng)此 Task Instance 為 sub DAG 時(shí)，循環(huán)清除所有該 sub DAG 中的 Task Instance。注意：若當(dāng)此 Task Instance 不是 sub DAG 則忽略此選項(xiàng)。

6. Mark Success 指令為講當(dāng)前 Task Instance 狀態(tài)標(biāo)記為 success。注意：如果該 Task Instance 的狀態(tài)為 running，則會(huì)嘗試 kill 該 Task Instance 所執(zhí)行指令，并進(jìn)入 shutdown 狀態(tài)，并在 kill 完成后將此次執(zhí)行標(biāo)記為 failed（如果 retry 次數(shù)沒(méi)有用完，將標(biāo)記為 up_for_retry）。
   
   

   跨越時(shí)間的 DAG 的樹(shù)表示。如果 pipeline（管道）延遲了，您可以很快地看到哪里出現(xiàn)了錯(cuò)誤的步驟并且辨別出堵塞的進(jìn)程。

圖形視圖可能是最全面的一種表現(xiàn)形式了。它可以可視化您的 DAG 依賴以及某個(gè)運(yùn)行實(shí)例的當(dāng)前狀態(tài)。

過(guò)去 N 次運(yùn)行的不同任務(wù)的持續(xù)時(shí)間。通過(guò)此視圖，您可以查找異常值并快速了解 DAG 在多次運(yùn)行中花費(fèi)的時(shí)間。

甘特圖可讓您分析任務(wù)持續(xù)時(shí)間和重疊情況。您可以快速識(shí)別系統(tǒng)瓶頸和哪些特定 DAG 在運(yùn)行中花費(fèi)了大量的時(shí)間。

透明就是一切。雖然您的 pipeline（管道）代碼在源代碼管理中，但這是一種快速獲取 DAG 代碼并提供更多上下文的方法。

從上面的頁(yè)面（樹(shù)視圖，圖形視圖，甘特圖......）中，始終可以單擊任務(wù)實(shí)例，并進(jìn)入此豐富的上下文菜單，該菜單可以將您帶到更詳細(xì)的元數(shù)據(jù)并執(zhí)行某些操作。

查看日志

所有的任務(wù)實(shí)例

記錄了所有DAG的運(yùn)行情況

外部系統(tǒng)的連接信息存儲(chǔ)在 Airflow 元數(shù)據(jù)數(shù)據(jù)庫(kù)中，并在 UI 中進(jìn)行管理（Menu -> Admin -> Connections）。在那里定義了conn_idconn_id而無(wú)需在任何地方硬編碼任何此類(lèi)信息。
可以定義具有相同conn_id許多連接，并且在這種情況下，并且當(dāng)掛鉤使用來(lái)自BaseHook的get_connection方法時(shí)，Airflow 將隨機(jī)選擇一個(gè)連接，允許在與重試一起使用時(shí)進(jìn)行一些基本的負(fù)載平衡和容錯(cuò)。
Airflow 還能夠通過(guò)操作系統(tǒng)中的環(huán)境變量引用連接。但它只支持 URI 格式。如果您需要為連接指定extra信息，請(qǐng)使用 Web UI。
如果在 Airflow 元數(shù)據(jù)數(shù)據(jù)庫(kù)和環(huán)境變量中都定義了具有相同conn_id連接，則 Airflow 將僅引用環(huán)境變量中的連接（例如，給定conn_idpostgres_master，在開(kāi)始搜索元數(shù)據(jù)數(shù)據(jù)庫(kù)之前，Airflow 將優(yōu)先在環(huán)境變量中搜索AIRFLOW_CONN_POSTGRES_MASTER并直接引用它）。
許多鉤子都有一個(gè)默認(rèn)的conn_id，使用該掛鉤的 Operator 不需要提供顯式連接 ID。 例如，PostgresHook的默認(rèn)conn_id是postgres_default

XComs

XComs 允許任務(wù)交換消息，允許更細(xì)微的控制形式和共享狀態(tài)。該名稱是“交叉通信”的縮寫(xiě)。XComs 主要由鍵，值和時(shí)間戳定義，但也跟蹤創(chuàng)建 XCom 的任務(wù)/DAG 以及何時(shí)應(yīng)該可見(jiàn)的屬性。任何可以被 pickle 的對(duì)象都可以用作 XCom 值，因此用戶應(yīng)該確保使用適當(dāng)大小的對(duì)象。

變量是將任意內(nèi)容或設(shè)置存儲(chǔ)和檢索為 Airflow 中的簡(jiǎn)單鍵值存儲(chǔ)的通用方法?？梢詮?UI（Admin -> Variables），代碼或 CLI 列出，創(chuàng)建，更新和刪除變量。此外，json 設(shè)置文件可以通過(guò) UI 批量上傳。雖然管道代碼定義和大多數(shù)常量和變量應(yīng)該在代碼中定義并存儲(chǔ)在源代碼控制中，但是通過(guò) UI 可以訪問(wèn)和修改某些變量或配置項(xiàng)會(huì)很有用。

看完上述內(nèi)容，你們對(duì)AirFlow管理界面怎么使用有進(jìn)一步的了解嗎？如果還想了解更多知識(shí)或者相關(guān)內(nèi)容，請(qǐng)關(guān)注億速云行業(yè)資訊頻道，感謝大家的支持。