如何部署集群測(cè)試環(huán)境？

一、需求

  在本地上部署了兩套環(huán)境，一套用于開(kāi)發(fā)環(huán)境，另一套用于測(cè)試環(huán)境。在這里，我抽其測(cè)試這套環(huán)境，做了個(gè)總結(jié)，具體安裝步聚，在這里不作詳細(xì)解釋，如果需要，我可以提供一份我總結(jié)文檔作參考。每套環(huán)境上用到了11臺(tái)機(jī)器，注意了，在這里用到全部是cdm5.5.0版本

http://archive.cloudera.com/cdh6/cdh/5/

二、集群規(guī)劃

1、測(cè)試集群

2、實(shí)時(shí)環(huán)境

三、依賴關(guān)系說(shuō)明

 后臺(tái)系統(tǒng)包括以下組件：zookeeper、hdfs、yarn、jobhistoryserver、hive metastore、hiveserver2、hbase、kafka 和 jstorm，以上個(gè)組件存在先后依賴關(guān)系，如下圖所示

在上圖中，上層的組件依賴下層的組件，所以啟動(dòng)的時(shí)候要由下往上啟動(dòng)，停止的時(shí)候要由上往下停止。

四、后臺(tái)運(yùn)維

1、測(cè)試環(huán)境部署及

zookeeper：testhadoop240、testhadoop241、testhadoop242

hadoop：testhadoop231、testhadoop232、testhadoop233、testhadoop234、testhadoop235、testhadoop236

hive：testhadoop233

hbase：testhadoop231、testhadoop232、testhadoop233

kafka：testhadoop240、testhadoop241、testhadoop242

jstorm：testhadoop240、testhadoop241、testhadoop242

mysql,nginx:testhadoop245

2，啟停命令說(shuō)明

2.1 zookeeper

部署機(jī)器：testhadoop240、testhadoop241、testhadoop242

部署位置：/usr/local/zookeeper

啟動(dòng)命令：/usr/local/zookeeper/bin/zkServer.sh start (分別在每臺(tái)機(jī)器執(zhí)行)

停止命令：/usr/local/zookeeper/bin/zkServer.shstop (分別在每臺(tái)機(jī)器執(zhí)行)

啟動(dòng)驗(yàn)證：/usr/local/zookeeper/bin/zkCli.sh-server testhadoop240:2181

2.2 hdfs

部署機(jī)器：testhadoop231、testhadoop232、testhadoop233、testhadoop234、testhadoop235、testhadoop236

部署位置：/usr/local/hadoop

啟動(dòng)命令：/usr/local/hadoop/sbin/start-dfs.sh (在 testhadoop231 或 testhadoop232上執(zhí)行)

停止命令：/usr/local/hadoop/sbin/stop-dfs.sh (在 testhadoop231或 testhadoop232 上執(zhí)行)

啟動(dòng)驗(yàn)證：訪問(wèn) http://test.hdfs1.xxx.com 或 http://test.hdfs2.xxx.com

2.3 yarn

部署機(jī)器：跟 hdfs 相同

部署位置：跟hdfs 相同

啟動(dòng)命令：/usr/local/hadoop/sbin/start-yarn.sh (在 testhadoop231 或 testhadoop232上執(zhí)行)

停止命令：/usr/local/hadoop/sbin/stop-yarn.sh (在 testhadoop231或 testhadoop232 上執(zhí)行)

啟動(dòng)驗(yàn)證：訪問(wèn) http://test.rm1.xxx.com 或 http://test.rm2.xxx.com

2.4 jobhistoryserver

部署機(jī)器：testhadoop231

部署位置：跟hdfs 相同

啟動(dòng)命令：/usr/local/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver

停止命令：/usr/local/hadoop/sbin/mr-jobhistory-daemon.shstop historyserver

啟動(dòng)驗(yàn)證：訪問(wèn) http://test.mapreduce.xxx.com

2.5 hive metastore

部署機(jī)器：testhadoop233

部署位置：/usr/local/hive

啟動(dòng)命令：/usr/local/hive/bin/start-metastore.sh

停止命令：ps -ef |grep MetaStore  找到進(jìn)程號(hào)，把它kill掉

啟動(dòng)驗(yàn)證：待補(bǔ)充

2.6 hiveserver2

部署機(jī)器：testhadoop233

部署位置：/usr/local/hive

啟動(dòng)命令：/usr/local/hive/bin/start-hiveserver2.sh

停止命令：ps -ef |grep HiveServer2 找到進(jìn)程號(hào)，把它kill掉

啟動(dòng)驗(yàn)證：待補(bǔ)充

2.7 hbase

部署機(jī)器：testhadoop231、testhadoop232、testhadoop233

部署位置：/usr/local/hbase

啟動(dòng)命令：/usr/local/hbase/bin/start-hbase.sh （testhadoop231）

停止命令：/usr/local/hbase/bin/stop-hbase.sh （testhadoop231）

啟動(dòng)驗(yàn)證：http://test.hbase.xxx.com

2.8 kafka 

部署機(jī)器：testhadoop240、testhadoop241、testhadoop242

部署位置：/usr/local/kafka_2.9.2-0.8.2.2

啟動(dòng)命令：/usr/local/kafka_2.9.2-0.8.2.2/starKafkaServer.sh

停止命令：ps -ef |grep kafka 找到進(jìn)程號(hào)，把它kill掉

啟動(dòng)驗(yàn)證：

使用hadoop2用戶登錄dchadoop213、dchadoop214、dchadoop215中的任意一臺(tái)機(jī)器，執(zhí)行以下命令：

a.創(chuàng)建topic

/usr/local/kafka_2.9.2-0.8.2.2/bin/kafka-topics.sh--zookeeper devhadoop237:2181,devhadoop238:2181,devhadoop239:2181/kafka--create  --topic mytest --replication-factor 1 --partitions 3

b.查看topic列表

/usr/local/kafka_2.9.2-0.8.2.2/bin/
kafka-topics.sh--zookeeper devhadoop237:2181,devhadoop238:2181,devhadoop239:2181/kafka --list

c.創(chuàng)建生產(chǎn)者

/usr/local/kafka_2.9.2-0.8.2.2/bin/
kafka-console-producer.sh--broker-list devhadoop237:9092,devhadoop238:9092,devhadoop239:9092 --topicmytest

d.創(chuàng)建消費(fèi)者

/usr/local/kafka_2.9.2-0.8.2.2/bin/
kafka-console-consumer.sh--zookeeper devhadoop237:2181,devhadoop238:2181,devhadoop239:2181/kafka --topicmytest --from-beginning

其中 mytest 是用戶指定的topic，實(shí)際開(kāi)發(fā)時(shí)需要根據(jù)業(yè)務(wù)自定義topic

2.9 jstorm

部署機(jī)器：testhadoop240、testhadoop241、testhadoop242

部署位置：/usr/local/jstorm-2.1.0/

啟動(dòng)命令：

啟動(dòng)nimbus：nohupjstorm nimbus & （在 testhadoop240上執(zhí)行）

啟動(dòng) supervisor：nohupjstorm supervisor &（在 testhadoop240~242上執(zhí)行）

啟動(dòng) web-ui：/usr/local/tomcat/bin/startup.sh

停止命令：

停止nimbus：ps -ef |grep nimbus 找到進(jìn)程號(hào)，把它kill掉 （在 testhadoop240上執(zhí)行）

停止 supervisor：ps -ef|grep supervisor 找到進(jìn)程號(hào)，把它kill掉（在 testhadoop240~242上執(zhí)行）

停止 web-ui：/usr/local/tomcat/bin/shutdown.sh