cm+cdh搭建大數(shù)據(jù)集群的方法

本篇內(nèi)容主要講解“cm+cdh搭建大數(shù)據(jù)集群的方法”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“cm+cdh搭建大數(shù)據(jù)集群的方法”吧!

第一部分：搭建基本環(huán)境

1、網(wǎng)絡(luò)配置
vim /etc/sysconfig/network-scripts/ifcfg-ens32 
service network restart

vim /etc/hosts
192.168.15.121 node1
192.168.15.122 node2
192.168.15.123 node3

2、SSH免密鑰登錄
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

cd ~/.ssh
scp ./authorized_keys node2:`pwd`
scp ./authorized_keys node3:`pwd`

3、防火墻關(guān)閉
systemctl stop firewalld.service
systemctl disable firewalld.service 

4、SELINUX關(guān)閉
setenforce 0
vim /etc/selinux/config (SELINUX=disabled)

5、安裝JDK配置環(huán)境變量
mkdir /usr/java
官網(wǎng)下載jdk的rpm文件，并上傳到/usr/java目錄下（如：/usr/java/jdk-8u221-linux-x64.rpm）
scp ./jdk-8u221-linux-x64.rpm node2:`pwd`
scp ./jdk-8u221-linux-x64.rpm node3:`pwd`

rpm -ivh jdk-8u221-linux-x64.rpm 

vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_221-amd64
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source /etc/profile
java -version

6、安裝NTP 設(shè)置開機(jī)啟動(dòng)（如果時(shí)間相同就可以不同步時(shí)間，可以繞過這個(gè)步驟）
 chkconfig ntpd on 設(shè)置時(shí)間同步 ntpdate 202.120.2.101
    
7、安裝配置
 yum install -y mysql-server

systemctl start mysqld.service #啟動(dòng) mysql

systemctl restart mysqld.service #重啟 mysql

systemctl stop mysqld.service #停止 mysql

systemctl enable mysqld.service #設(shè)置 mysql 開機(jī)啟動(dòng)

mysql
use mysql
delete from user
update user set Password=password("admin") where User='root';
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'admin' WITH GRANT OPTION;
flush privileges

8、下載第三方依賴包
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

第二部分：搭建cm+cdh

1、ClouderaManager安裝
1.1、安裝Cloudera Manager Server、Agent
mkdir /opt/cloudera-manager
tar -zxf cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz  -C /opt/cloudera-manager/

1.2、配置CM Agent
修改文件vim /opt/cloudera-manager/cm-5.16.1/etc/cloudera-scm-agent/config.ini中server_host為node1

1.3、創(chuàng)建用戶cloudera-scm
useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

1.4、配置CM Server數(shù)據(jù)庫(node1)
mkdir /usr/share/java/
拷貝mysql jar文件到目錄 /usr/share/java/
注意jar包名稱要修改為mysql-connector-java.jar
grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;
cd /opt/cloudera-manager/cm-5.16.1/share/cmf/schema/
./scm_prepare_database.sh mysql temp -h node1 -utemp -ptemp --scm-host node1 scm scm scm
格式：數(shù)據(jù)庫類型、數(shù)據(jù)庫、數(shù)據(jù)庫服務(wù)器、用戶名、密碼、cm server服務(wù)器

1.5、創(chuàng)建Parcel目錄
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

1.6、制作CDH本地源
下載好文件CDH-5.4.0-1.cdh6.4.0.p0.27-el6.parcel以及manifest.json，將這兩個(gè)文件放到server節(jié)點(diǎn)的/opt/cloudera/parcel-repo下。
打開manifest.json文件，里面是json格式的配置，找到與下載版本相對(duì)應(yīng)的hash碼，新建文件，文件名與你的parel包名一致，并加上.sha后綴，將hash碼復(fù)制到文件中保存。

1.7、啟動(dòng)CM Server、Agent
cd /opt/cloudera-manager/cm-5.16.1/etc/init.d/
./cloudera-scm-server start Sever 
首次啟動(dòng)會(huì)自動(dòng)創(chuàng)建表以及數(shù)據(jù)，不要立即關(guān)閉或重啟，否則需要?jiǎng)h除所有表及數(shù)據(jù)重新安裝
查看啟動(dòng)是否完成
cd /opt/cloudera-manager/cm-5.16.1/log/cloudera-scm-server
tail -f cloudera-scm-server.log

啟動(dòng)完成后

訪問:http://note1的ip:7180
默認(rèn)用戶名與密碼：admin/admin
則安裝成功了

到此，相信大家對(duì)“cm+cdh搭建大數(shù)據(jù)集群的方法”有了更深的了解，不妨來實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！