blink解決一個flink分析痛點(diǎn)的示例分析

本篇文章給大家分享的是有關(guān)blink解決一個flink分析痛點(diǎn)的示例分析，小編覺得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

今天也主要是測試調(diào)研一下blink。前面說了對于大數(shù)據(jù)框架，除了要理解底層的原理之外，還要掌握如何分析查看性能瓶頸，blink除了從底層多處進(jìn)行優(yōu)化之外，還優(yōu)化了flink的 web ui，而且都有了比較大的提升。

關(guān)于blink的官方優(yōu)化點(diǎn)說明，大家可以查看flink 的github blink 分支，里面的readme.md文檔。

https://github.com/apache/flink/tree/blink

首先，導(dǎo)入blink入idea

idea直接支持通過git上導(dǎo)入blink，方式是

跳出下面的窗口，在url欄輸入flink的地址

然后就是等待了，，，

導(dǎo)入成功之后，在右下角切換分支到blink

然后就可以編譯了，編譯之前呢，需要注釋掉pom.xml里代碼風(fēng)格檢測的內(nèi)容。然后執(zhí)行

mvn clean package -DskipTests

編譯結(jié)束之后，會在build-target目錄下生成blink的安裝文件，然后你可以復(fù)制出來，僅僅想本地模式測試的話，可以直接，執(zhí)行

bin/start-cluster.sh

啟動完成之后，瀏覽器輸入host:8081，即可登陸blink的web ui。

可以看到web ui的內(nèi)容風(fēng)格已經(jīng)完全重構(gòu)，而且細(xì)節(jié)非常豐富。

下面是官方給出的web 優(yōu)化點(diǎn)：

我們在 Flink Runtime Web 的易用性與性能等多個方面進(jìn)行了改進(jìn)，從資源使用、作業(yè)調(diào)優(yōu)、日志查詢等維度新增了大量功能，使得用戶可以更方便的對 Flink 作業(yè)進(jìn)行運(yùn)維。

資源使用：新增 Cluster、TaskManager 與 Job 三個級別的資源信息，資源的申請與使用情況一目了然。
作業(yè)調(diào)優(yōu)：作業(yè)的拓?fù)潢P(guān)系及數(shù)據(jù)流向可以追溯至 Operator 級別，Vertex 增加 InQueue，OutQueue等多項(xiàng)指標(biāo)，可以方便的追蹤數(shù)據(jù)的反壓、過濾及傾斜情況。
日志查詢：TaskManager 和 JobManager 的日志功能得到大幅度加強(qiáng)，從Job、Vertex、SubTask 等多個維度都可以關(guān)聯(lián)至對應(yīng)日志，提供多日志文件訪問入口，以及分頁展示查詢和日志高亮功能。
交互優(yōu)化：對頁面交互邏輯進(jìn)行了整體優(yōu)化，絕大部分關(guān)聯(lián)信息在單個頁面就可以完成查詢和比對工作，減少了大量不必要的跳轉(zhuǎn)。
性能提升：使用 Angular 7.0 進(jìn)行了整體重構(gòu)，頁面運(yùn)行性能有了一倍以上的提升。在大數(shù)據(jù)量情況下也不會發(fā)生頁面假死或者卡頓情況。

日志管理

在這里浪尖主要想提的就是關(guān)于日志相關(guān)的監(jiān)控，大家都知道flink日志只有taskmanager和jobmanager的，要是集群運(yùn)行多任務(wù)的話就會導(dǎo)致日志分析很蛋疼，所以目前on yarn的情況都是單個任務(wù)。

blink的日志，給我們細(xì)分了文件，方便我們針對應(yīng)用程序查看

運(yùn)行兩個簡單的任務(wù)

bin/flink run examples/streaming/

bin/flink run examples/streaming/Kafka010Example.jar --input-topic test  --output-topic boo --bootstrap.servers mt-mdh.local:9093 --groupid test

查看taskmanager的日志，可以看到TaskManager 和 JobManager 的日志功能得到大幅度加強(qiáng)，從Job、Vertex、SubTask 等多個維度都可以關(guān)聯(lián)至對應(yīng)日志，提供多日志文件訪問入口，以及分頁展示查詢和日志高亮功能。

當(dāng)然這個日志文件名區(qū)分度還不是很高，主要要根據(jù)提交任務(wù)的主機(jī)，然后提交順序來查找：日志和程序之間的對應(yīng)關(guān)系，但是已經(jīng)大幅度提高了我們分析日志的能力了，因?yàn)樵械膄link日志比較集中于taskmanager，那么就假如運(yùn)行時間久，日志文件會越滾越大，運(yùn)行任務(wù)多日志交叉，然后導(dǎo)致問題分析變的難度比較高。

以上就是blink解決一個flink分析痛點(diǎn)的示例分析，小編相信有部分知識點(diǎn)可能是我們?nèi)粘９ぷ鲿姷交蛴玫降?。希望你能通過這篇文章學(xué)到更多知識。更多詳情敬請關(guān)注億速云行業(yè)資訊頻道。