Storm單機(jī)安裝的方法是什么

這篇文章主要講解了“Storm單機(jī)安裝的方法是什么”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來(lái)研究和學(xué)習(xí)“Storm單機(jī)安裝的方法是什么”吧！

重點(diǎn)講解：

conf.setNumWorkers(3);-------->創(chuàng)建的worker的進(jìn)程會(huì)平均分配到storm的集群節(jié)點(diǎn)上的

StormSubmitter.submitTologyWithProgressBar(args[0],conf,builder.createTology());

---->args[0]  --就是前面代碼中的最后一個(gè)Blot的名字count

1、Storm的集群成員：

nimbus

ZK

supervisor

worker(其中有executer)

作用：

nimbus：負(fù)責(zé)接收客戶端數(shù)據(jù)和調(diào)度，調(diào)度時(shí)向zk要supervisor的信息，然后根據(jù)信息調(diào)度，nimbus 和supervisor不直接通信

supervisor：負(fù)責(zé)監(jiān)控下級(jí)節(jié)點(diǎn)的運(yùn)行狀態(tài)，如果supervisor掛掉，nimbus會(huì)根據(jù)zk返回的信息重新調(diào)度

worker：worker是進(jìn)程，當(dāng)worker拿到任務(wù)時(shí)會(huì)啟動(dòng)一個(gè)executor線程，然后executor線程工作

注：，nimbus負(fù)責(zé)任務(wù)調(diào)度和接收客戶端數(shù)據(jù)，supervisor和worker都是進(jìn)程，supervisor是管理進(jìn)程，worker是工作進(jìn)程，executor才是真正的工作線程。

ZK：高可用，配置信息存儲(chǔ)在znode上

2、Strom的安裝

1）、部署依賴環(huán)境     ---  要求Java  6+  、Python  2.6.6+

2）、部署zookeeper

--3.4.5+

--zk為啥要用3.4.5，因?yàn)樗С执疟P(pán)的快照和namenode的定期刪除，避免磁盤(pán)被打滿。

3）、分發(fā)storm包---這里使用0.9.4版本

4）、配置storm    ---修改storm.yaml配置文件

5）、啟動(dòng)strom

單機(jī)安裝

Java,python部署  運(yùn)行java -version  和 python  -version驗(yàn)證版本
上傳apache-storm-0.9.5.tar.gz
tar zxf apache-storm-0.9.5.tar.gz
cd apache-storm-0.9.5
mkdir logs
./bin/storm dev-zookeeper >> ./logs/zk.out 2>&1 &
./bin/storm nimbus >> ./logs/nimbus.out 2>&1 &
./bin/storm ui >> ./logs/ui.out 2>&1 &
./bin/storm supervisor >> ./logs/supervisor.out 2>&1 &
./bin/storm logviewer >> ./logs/logviewer.out 2>&1 &
驗(yàn)證： 登錄地址http://node11:8080/查看

jobs  --->該命令用于查看當(dāng)前終端后臺(tái)運(yùn)行的任務(wù)。

ss  -tanl  ---->查看端口占用

6627 端口----》nimbus

supervisor  --》不許要端口，只需要監(jiān)視worker

執(zhí)行此命令，感受一下storm

./bin/storm  jar examples/storm-starter/storm-starter-topologies-0.9.4.jar   storm.starter.WordCountTopology  wordcount

storm 三節(jié)點(diǎn)的部署

3個(gè)節(jié)點(diǎn)部署Zookeeper集群（這里不做演示）

node11為nimbus，開(kāi)始配置

1、將storm包解壓

2、修改storm/conf/storm.yaml 配置文件，內(nèi)容如下（注意，其中的空格是有用的，不能刪除）

storm.zookeeper.servers:
  - "192.168.47.21"
  - "192.168.47.22"
  - "192.168.47.23"

storm.local.dir: "/tmp/storm"

nimbus.host: "192.168.47.21"

supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

3、在storm目錄中創(chuàng)建logs目錄
4、啟動(dòng)ZooKeeper集群

5、node11上啟動(dòng)Nimbus
$ ./bin/storm nimbus >> ./logs/nimbus.out 2>&1 &
$ tail -f logs/nimbus.log
$ ./bin/storm ui >> ./logs/ui.out 2>&1 &
$ tail -f logs/ui.log

6、節(jié)點(diǎn)nod12和node13啟動(dòng)supervisor，按照配置，每啟動(dòng)一個(gè)supervisor就有了4個(gè)slots
$ ./bin/storm supervisor >> ./logs/supervisor.out 2>&1 &
$ tail -f logs/supervisor.log
當(dāng)然node11也可以啟動(dòng)supervisor

7、http://192.168.47.21:8080/
$ bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.4.jar storm.starter.WordCountTopology test

8、環(huán)境變量可以配置也可以不配置
export STORM_HOME=/usr/storm
export PATH=$PATH:$STORM_HOME/bin

感謝各位的閱讀，以上就是“Storm單機(jī)安裝的方法是什么”的內(nèi)容了，經(jīng)過(guò)本文的學(xué)習(xí)后，相信大家對(duì)Storm單機(jī)安裝的方法是什么這一問(wèn)題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是億速云，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！