溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

strom.yaml如何配置

發(fā)布時間:2021-12-07 14:20:23 來源:億速云 閱讀:134 作者:小新 欄目:云計算

這篇文章主要介紹了strom.yaml如何配置,具有一定借鑒價值,感興趣的朋友可以參考下,希望大家閱讀完這篇文章之后大有收獲,下面讓小編帶著大家一起了解一下。

配置storm.yaml

storm發(fā)行版在conf/storm.yaml包含了一些配置信息。你可以在這里看到默認(rèn)配置。storm.yaml里面的配置比default.xml的優(yōu)先級要高, 下面是要運行storm集群所必須的配置:

1. storm.zookeeper.servers 這個配置storm集群使用的zookeeper集群的地址,比如:

storm.zookeeper.servers:

- "111.222.333.444"

- "555.666.777.888"

2. storm.local.dir Nimbus和Supervisor在本地磁盤上需要一個目錄來存儲一些狀態(tài)信息(jar包, 配置文件之類的東西)你應(yīng)該在每臺機器上創(chuàng)建那個目錄,分配正確的權(quán)限,比如:

storm.local.dir: "/mnt/storm"

3. java.library.path 這是storm所依賴的本地依賴(ZeroMQ和JZMQ)的加載地址, 默認(rèn)的是:/usr/local/lib:/opt/local/lib:/usr/lib, 大多情況下是對的,所以你應(yīng)該不用更改這個配置。

4. nimbus.host 所有工作機器需要nimbus機器的地址, 這樣它們才知道去哪里獲取jar包和配置文件:

nimbus.host: "111.222.333.44"

5. supervisor.slots.ports 對于每一臺工作機器,這個配置指定在這臺工作機器上運行多少工作進程, 每個進程使用一個獨立端口來接收消息,這個配置同時也指定使用哪些端口。如果你在這里定義5個端口, storm會在這個機器上最多分配5個工作進程。如果分配3個端口,那么最多分配3個進程。默認(rèn)的配置是4個:

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

啟動守護進程

最后一步是啟動storm的所有守護進程。還是前面說的那樣,對于每個進程都要有監(jiān)控!storm是一個fail-fast系統(tǒng),出現(xiàn)什么不可預(yù)知的錯誤的時候它都會退出的。storm被設(shè)計成在任何時候都可以安全退出, 在任何時候都能正確重啟, 這就是storm為什么不在線程內(nèi)存儲狀態(tài) — 如果Nimbus和Supervisor重啟的話,不會影響正在運行的topology。下面介紹如何啟動這些線程:

Nimbus 在Nimbus機器上運行bin/storm nimbus

Supervisor 在每臺工作機器上運行bin/storm supervisor, supervisor負(fù)責(zé)啟動和終止工作機器上的工作進程。

UI storm UI是一個可以查看storm運行狀態(tài)的的一個網(wǎng)站,通過bin/storm ui運行,訪問地址: http://{nimbus.host}:8080/。

就像你能看到的一樣,運行storm集群很簡單。這些進程會往你解壓storm發(fā)行版的目錄的子目錄logs目錄里面打日志。

感謝你能夠認(rèn)真閱讀完這篇文章,希望小編分享的“strom.yaml如何配置”這篇文章對大家有幫助,同時也希望大家多多支持億速云,關(guān)注億速云行業(yè)資訊頻道,更多相關(guān)知識等著你來學(xué)習(xí)!

向AI問一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI