Linux系統(tǒng)中怎樣安裝Flink

小編給大家分享一下Linux系統(tǒng)中怎樣安裝Flink，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

Flink簡介：

在當(dāng)前的互聯(lián)網(wǎng)用戶，設(shè)備，服務(wù)等激增的時代下，其產(chǎn)生的數(shù)據(jù)量已不可同日而語了。各種業(yè)務(wù)場景都會有著大量的數(shù)據(jù)產(chǎn)生，如何對這些數(shù)據(jù)進(jìn)行有效地處理是很多企業(yè)需要考慮的問題。以往我們所熟知的Map Reduce，Storm，Spark等框架可能在某些場景下已經(jīng)沒法完全地滿足用戶的需求，或者是實現(xiàn)需求所付出的代價，無論是代碼量或者架構(gòu)的復(fù)雜程度可能都沒法滿足預(yù)期的需求。新場景的出現(xiàn)催產(chǎn)出新的技術(shù)，F(xiàn)link即為實時流的處理提供了新的選擇。Apache Flink就是近些年來在社區(qū)中比較活躍的分布式處理框架，加上阿里在中國的推廣，相信它在未來的競爭中會更具優(yōu)勢。 Flink的產(chǎn)生背景不過多介紹，感興趣的可以Google一下。Flink相對簡單的編程模型加上其高吞吐、低延遲、高性能以及支持exactly-once語義的特性，讓它在工業(yè)生產(chǎn)中較為出眾。相信正如很多博客資料等寫的那樣”Flink將會成為企業(yè)內(nèi)部主流的數(shù)據(jù)處理框架，最終成為下一代大數(shù)據(jù)處理標(biāo)準(zhǔn)?！?/p>

1.下載和部署。

Flink可以運(yùn)行在Linux、MacOS和Windows系統(tǒng)上，需要JDK1.7+的支持。本文記錄了在linux（CentOS 7）上部署過程，默認(rèn)已經(jīng)安裝了JDK1.8。

1.1 下載

從下面的鏈接中下載二進(jìn)制的Flink,根據(jù)你喜歡的Hadoop/Scala版本選擇對應(yīng)的Flink版本。

http://flink.apache.org/downloads.html

1.2 部署

我選擇的版本是flink-1.6.2-bin-hadoop24-scala_2.11.tgz  放在itcast目錄下

 [root@itcast01 ~]# wget http://mirrors.hust.edu.cn/apache/flink/flink-1.6.2/flink-1.6.2-bin-hadoop24-scala_2.11.tgz 
 --2018-12-03 22:39:48--  http://mirrors.hust.edu.cn/apache/flink/flink-1.6.2/flink-1.6.2-bin-hadoop24-scala_2.11.tgz 
 正在解析主機(jī) mirrors.hust.edu.cn (mirrors.hust.edu.cn)... 202.114.18.160 
 正在連接 mirrors.hust.edu.cn (mirrors.hust.edu.cn)|202.114.18.160|:80... 已連接。 
 已發(fā)出 HTTP 請求，正在等待回應(yīng)... 200 OK 
 長度：291631283 (278M) [application/octet-stream] 
 正在保存至: “flink-1.6.2-bin-hadoop24-scala_2.11.tgz” 
 28% [=========================>                                                                    ] 82,004,863   642KB/s 剩余 9m 7s 
 解壓到指定目錄 
 2 [root@itcast01~]# tar -zxvf flink-1.3.2-bin-hadoop27-scala_2.10.tgz -C /itcast 
 
 
 [root@itcast01 bin]# ./start-cluster.sh  # Start Flink 后面是1.3版本之前的啟動方式  .bin/start-local.sh 
 [root@itcast01 bin]# ./stop-cluster.sh    停止

如要停止Flink，請使用命令:bin/stop-cluster.sh 。

1.3 訪問Flink監(jiān)控界面

訪問Flink前端界面，確認(rèn)系統(tǒng)啟動，地址：http://192.168.1.128:8081  這個界面是我已經(jīng)運(yùn)行測試任務(wù)代碼的結(jié)果，有jobs任務(wù)

2. 運(yùn)行WordCount

在數(shù)據(jù)處理領(lǐng)域，WordCount就是HelloWorld。Flink自帶WordCount例子，它通過socket讀取text數(shù)據(jù)，并且統(tǒng)計每個單詞出現(xiàn)的次數(shù)。如果你想查閱例子源碼，請點擊鏈接：SocketWindowWordCount源碼。

2.1 啟動本地監(jiān)聽

首先，使用nc命令啟動一個本地監(jiān)聽，命令是：

 nc -l 9000

如果報錯：-bash: command not found，請先安裝nc，在線安裝命令：yum -y install nc 。

2.2 提交WordCount程序

新開一個shell窗口 提交WordCount程序的命令：

切換到flink-1.6.2下，不要進(jìn)入bin目錄運(yùn)行代碼

 [root@itcast01 flink-1.6.2]#  bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000 
 Starting execution of program

正常運(yùn)行的話，已經(jīng)可以看到任務(wù)

2.3 發(fā)送數(shù)據(jù)

在啟動nc的shell窗口，輸入

 [root@itcast01 flink-1.6.2]# nc -l 9000 
 cpu cpu cpu lmc lmc lmc jiao jiao jiao

新開一個shell窗口，去/itcasst/ flink-1.6.2/log目錄下，執(zhí)行tail -f flink*.out,可以查看到word count的結(jié)果。

 [root@itcast01 log]# tail -f flink-root-taskexecutor-0-itcast01.out 
 cpu : 3 
 jiao : 3 
 lmc : 3 
  : 1

[root@itcast01 bin]# ./start-cluster.sh # Start Flink 開啟服務(wù) [root@itcast01 bin]# ./stop-cluster.sh   停止

以上是“Linux系統(tǒng)中怎樣安裝Flink”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注億速云行業(yè)資訊頻道！