flink如何安裝部署

這篇文章主要介紹了flink如何安裝部署，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

Flink支持運行與所有的類linux環(huán)境，比如linux，mac os x 和cygwin(windows)，要求一個master節(jié)點，一個或者多個worker節(jié)點。再部署啟動flink集群之前，要準備一下環(huán)境，對每個節(jié)點的環(huán)境要求是：

1. 需要java 1.8.x或者更高版本

2. ssh(sshd一定要啟動，因為要用flink腳本去管理集群遠程的節(jié)點)

如果，你集群環(huán)境不滿足這些軟件要求，請及時安裝和更新。

假如ssh是免密碼登陸的，然后保證每個集群的安裝路徑都一樣，這樣可以方便的使用flink腳本管理集群。

JAVA_HOME配置是flink集群必須要求的，也可以通過conf/flink-conf.yaml里的env.java.home屬性設(shè)置。

Flink集群配置

在下載flink

https://flink.apache.org/downloads.html

然后解壓

tar -zxfflink-1.7.1-bin-hadoop27-scala_2.11.tgz

配置的要點分析

master選定

在解壓之后，就可以開始編輯flink的conf/flink-conf.yaml進行配置了。

必要重要的點是選定master節(jié)點，配置屬性叫做：jobmanager.rpc.address。

內(nèi)存配置

根據(jù)自己的實際情況集群大小，業(yè)務(wù)繁忙度設(shè)置合理的jobmananger的jvm內(nèi)存，屬性是jobmanager.heap.mb 和taskmanager.heap.mb。

單位是MB。當然，有些集群可能是節(jié)點直接內(nèi)存可能有大有小，這樣統(tǒng)一flink的taskmanager配置，會導(dǎo)致一些節(jié)點物理內(nèi)存荒廢，所以建議是可以通過FLINK_TM_HEAP這個環(huán)境變量來調(diào)整，該環(huán)境變量會覆蓋掉配置文件內(nèi)部的taskmanager.heap.mb配置。

指定worker節(jié)點

集群的哪些節(jié)點被配置為worker節(jié)點，也是需要明確指定的，這個很類似hdfs的配置，需要編輯conf/slaves文件，然后將所有wroker節(jié)點的ip或者host寫入該文件即可。然后就可以ssh到所有機器的節(jié)點上啟動集群。

當然，有些人要抬杠了，我就不配置slaves，我要一臺一臺啟動taskmanager，只能說完全沒問題。

單節(jié)點無需配置，解壓之后可以直接啟動的。

配置案例

官網(wǎng)給出了一個三節(jié)點的集群（10.0.0.1到10.0.03）

再次強調(diào)，在每個節(jié)點flink的home路徑要存在且統(tǒng)一，最簡單的方式是用NFS，當然也可以scp的方式分發(fā)到每個節(jié)點。

重要配置解析

• jobmanager.heap.mb:jobmanager的堆內(nèi)存。

• taskmanager.heap.mb:taskmanager的堆內(nèi)存。

• taskmanager.numberOfTaskSlots:每個機器slots的數(shù)量，官方說是cpu的數(shù)量一個意思一般slot數(shù)就可以設(shè)置為cpu數(shù)或者cpu數(shù)的整數(shù)倍。

• parallelism.default :任務(wù)啟動的時候的默認并行度。

• taskmanager.tmp.dirs : taskmanager的運行臨時路徑，可以配置多路徑，有ssd更好。

啟動flink集群

bin/start-cluster.sh 腳本在是啟動整個flink集群的腳本，執(zhí)行的時候會現(xiàn)在本地啟動一個jobmanager，然后使用ssh連接到slaves文件配置的所有worker節(jié)點啟動taskmanager。Taskmanager通過前面配置的jobmanager的rpc端口鏈接到j(luò)obmanager，這樣整個集群就啟動了。

停止集群采用的腳本是bin/stop-cluster.sh。

上面的啟動方式主要是從零啟動一個正常的集群，那么很多時候我們會給集群添加機器，這個時候怎么辦呢？

Flink提供了兩個腳本

增加一個JobManager

bin/jobmanager.sh ((start|start-foreground)[host] [webui-port])|stop|stop-all

增加一個TaskManager

bin/taskmanager.shstart|start-foreground|stop|stop-all

執(zhí)行命令所在的機器就是你要添加到集群的機器，切記啊。

感謝你能夠認真閱讀完這篇文章，希望小編分享的“flink如何安裝部署”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識等著你來學(xué)習(xí)!