Flink on Yarn的部署和設(shè)置

這篇文章主要講解了“Flink on Yarn的部署和設(shè)置”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“Flink on Yarn的部署和設(shè)置”吧！

執(zhí)行ansible腳本部署CDH和Flink(ansible電腦)

1. 進(jìn)入ansible電腦的<font color="blue">~/playbooks</font>目錄，經(jīng)過上一篇的準(zhǔn)備工作，該目錄下應(yīng)該是下圖這些內(nèi)容：

2. 檢查ansible遠(yuǎn)程操作CDH服務(wù)器是否正常，執(zhí)行命令<font color="blue">ansible deskmini -a "free -m"</font>，正常情況下顯示CDH服務(wù)器的內(nèi)存信息，如下圖：

3. 執(zhí)行命令開始部署：<font color="blue">ansible-playbook cm6-cdh6-flink1.7-single-install.yml</font>

4. 整個(gè)部署過程涉及在線安裝、傳文件等耗時(shí)的操作，因此請(qǐng)耐心等待（半小時(shí)左右），如果部署期間出錯(cuò)退出（例如網(wǎng)絡(luò)問題），只需重復(fù)執(zhí)行上述命令即可，ansible保證了操作的冪等性；

5. 部署成功如下圖所示：

重啟CDH服務(wù)器

由于修改了selinux和swap的設(shè)置，需要重啟操作系統(tǒng)才能生效，因此請(qǐng)重啟CDH服務(wù)器；

執(zhí)行ansible腳本啟動(dòng)CDH服務(wù)(ansible電腦)

1. 等待CDH服務(wù)器重啟成功；

2. 登錄ansible電腦，進(jìn)入<font color="blue">~/playbooks</font>目錄；

3. 執(zhí)行初始化數(shù)據(jù)庫和啟動(dòng)CDH的腳本：<font color="blue">ansible-playbook cdh-single-start.yml</font>

4. 啟動(dòng)完成輸出如下信息：

5. ssh登錄CDH服務(wù)器，執(zhí)行此命令觀察CDH服務(wù)的啟動(dòng)情況：<font color="blue">tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log</font>，看到下圖紅框中的內(nèi)容時(shí)，表示啟動(dòng)完成，可以用瀏覽器登錄了：

設(shè)置(瀏覽器操作)

現(xiàn)在CDH服務(wù)已經(jīng)啟動(dòng)了，可以通過瀏覽器來操作：

1. 瀏覽器訪問：http://192.168.50.134:7180 ，如下圖，賬號(hào)密碼都是<font color="blue">admin</font>：

2. 一路next，在選擇版本頁面選擇60天體驗(yàn)版：

3. 選擇主機(jī)頁面可見CDH服務(wù)器（deskmini）：

4. 在選擇CDH版本的頁面，請(qǐng)選擇下圖紅框中的<font color="blue">5.16.2-1</font>：

5. 進(jìn)入安裝Parcel的頁面，由于提前上傳了離線parcle包，因此下載進(jìn)度瞬間變成百分之百，此時(shí)請(qǐng)等待分配、解壓、激活的完成：

6. 接下來有一些推薦操作，這里選擇如下圖紅框，即可跳過：

7. 接下來是選擇服務(wù)的頁面，我選擇了自定義服務(wù)，然后選擇了<font color="blue">HDFS、YARN、Zookeeper</font>這三項(xiàng)，可以滿足運(yùn)行Flink的需要：

8. 在選擇主機(jī)的頁面，都選擇CDH服務(wù)器：

9. 接下來是數(shù)據(jù)庫設(shè)置的頁面，<font color="red">您填寫的內(nèi)容必須與下圖保持一致</font>，即主機(jī)名為<font color="blue">localhost</font>，Activity Monitor的數(shù)據(jù)庫、用戶、密碼都是<font color="red">amon</font>，Reports Manager的數(shù)據(jù)庫、用戶、密碼都是<font color="red">rman</font>，這些內(nèi)容在ansible腳本中已經(jīng)固定了，此處的填寫必須保持一致：

10. 在設(shè)置參數(shù)的頁面，請(qǐng)按照您的硬盤實(shí)際情況設(shè)置，我這里<font color="blue">/home</font>目錄下空間充足，因此存儲(chǔ)位置都改為<font color="blue">/home</font>目錄下：

11. 等待服務(wù)啟動(dòng)：

12. 各服務(wù)啟動(dòng)完成：

YARN設(shè)置

默認(rèn)的YARN參數(shù)是非常保守的，需要做一些設(shè)置才能順利執(zhí)行Flink任務(wù)：

1. 點(diǎn)下圖紅框位置，進(jìn)入YARN管理頁：

2. 如下圖所示，檢查參數(shù)<font color="blue">yarn.nodemanager.resource.cpu-vcores</font>的值，該值必須大于1，否則提交Flink任務(wù)后YARN不分配資源執(zhí)行任務(wù)，（如果您的CDH服務(wù)器是虛擬機(jī)，當(dāng)CPU只有單核時(shí)，則此參數(shù)就會(huì)被設(shè)置為1，解決辦法是先提升虛擬機(jī)CPU核數(shù)，再來修改此參數(shù)）：

3. <font color="blue">yarn.scheduler.minimum-allocation-mb</font>：?jiǎn)蝹€(gè)容器可申請(qǐng)的最小內(nèi)存，我這里設(shè)置為<font color="red">1G</font>

4. <font color="blue">yarn.scheduler.maximum-allocation-mb</font>：?jiǎn)蝹€(gè)容器可申請(qǐng)的最大內(nèi)存，我這里設(shè)置為<font color="red">8G</font>

5. <font color="blue">yarn.nodemanager.resource.memory-mb</font>：節(jié)點(diǎn)最大可用內(nèi)存，我這里設(shè)置為<font color="red">8G</font>

6. 上述三個(gè)參數(shù)的值，是基于我的CDH服務(wù)器有32G內(nèi)存的背景，請(qǐng)您按照自己硬件資源自行調(diào)整；

7. 設(shè)置完畢后重啟YARN服務(wù)，操作如下圖所示：

8. 至此，部署和設(shè)置都已完成，F(xiàn)link on Yarn的環(huán)境已經(jīng)可用了。

感謝各位的閱讀，以上就是“Flink on Yarn的部署和設(shè)置”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對(duì)Flink on Yarn的部署和設(shè)置這一問題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是億速云，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！