Centos6 安裝cdh5.7

Centos6 安裝cdh6.7

•  安裝前的準(zhǔn)備工作

•  JDK環(huán)境

版本：jdk-7u79-linux-x64.tar.gz

下載地址：oracle官網(wǎng)（http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260-zhs.html）

安裝上 會生成 /usr/local/jdk1.7.0_79

需要建立軟連接 ln –s /usr/local/jdk1.7.0_79 /usr/local/java

在來一個 ln –s /usr/local/java /usr/share/java

還來一個 ln -s /usr/local/java /usr/java/jdk1.7

加環(huán)境變量

export JAVA_HOME=/usr/local/java

export PATH=${JAVA_HOME}/bin:${PATH}

• mysql連接

http://dev.mysql.com/downloads/connector/j/

mysql-connector-java-5.1.47-bin.jar 我下載的這個

把下載的包放到/usr/local/

并重新命名 mysql-connector-java.jar

• CDH

先下載 cloudera manager安裝包 下載地址：http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6- cm5.7.0_x86_64.tar.gz

下載 CDH 安裝包（parcel 包）下載地址：http://archive.cloudera.com/cdh6/parcels/5.7.0/

manifest.json

需要上面這3個

•  系統(tǒng)需要做的準(zhǔn)備

Ntp 時間 所有機(jī)器的時間要一樣 （百度吧不會的簡單）

Ssh 互相（root用戶）

防火墻 selinux都不開（沒在考慮范圍）

Hosts 里面要有所有服務(wù)器的解析 Ip hostname

echo 0 > /proc/sys/vm/swappiness

echo never > /sys/kernel/mm/transparent_hugepage/defrag

自己設(shè)置開機(jī)啟動吧

• 安裝cdh

-----------------------------------------------------------manager機(jī)器---------------------------------------------------先操作 cloudera-manager 機(jī)器

mkdir -p /var/cloudera-scm-server

mkdir -p /opt/cloudera/parcel-repo

tar xf /opt/cloudera-manager-el6-cm5.7.0_x86_64.tar.gz -C /opt/cloudera-manager

把另外一個包放到這/opt/cloudera/parcel-repo（注意把sha1 換成這樣sha）

useradd --system --home=/opt/cloudera-manager/cm-5.7.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

chown cloudera-scm:cloudera-scm /var/cloudera-scm-server

chown cloudera-scm:cloudera-scm /opt/cloudera-manager

chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

-------------------------------------------------- manager機(jī)器-----------------------------------------------------------

-------------------------------------------------- 所有機(jī)器----------------------------------------------------------------

所有機(jī)器加用戶 cloudera-scm

useradd --system --home=/opt/cloudera-manager/cm-5.7.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

vim /opt/cloudera-manager/cm-5.7.0/etc/cloudera-scm-agent/config.ini

# Hostname of the CM server.

server_host=node2 這個要指向manager的機(jī)器的地址 ip 也行

-------------------------------------------------- 所有機(jī)器----------------------------------------------------------------

-------------------------------------------------- manager機(jī)器-----------------------------------------------------------

在manager的機(jī)器指向cm server的數(shù)據(jù)庫初始化

方法一 ：

/opt/cloudera-manager/cm-5.7.0/share/cmf/schema/scm_prepare_database.sh mysql –h2.1.1.1 -uroot –pxxxx --scm-host 2.2.2.2 scm scm scm

上面這個命令需要root權(quán)限 沒有scm庫才執(zhí)行

方法二：（建議這樣，數(shù)據(jù)庫我們有dba管理人家不能給你root給你一個庫的權(quán)限）

create database scm DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 建庫

grant all privileges on scm.* to scm@'node2' identified by 'scm'; 授權(quán)

/opt/cloudera-manager/cm-5.7.0/share/cmf/schema/scm_prepare_database.sh mysql -hnode1 --scm-host node2 scm scm scm #node1是數(shù)據(jù)庫的地址 Node2是manager地址 scm庫 scm 用戶 scm密碼

vim /opt/cloudera-manager/cm-5.7.0/etc/cloudera-scm-server/db.properties 看看生成什么

/opt/cloudera-manager/cm-5.7.0/etc/init.d/cloudera-scm-server start 啟動服務(wù)

如果啟動失敗需要修改 /etc/init.d/cloudera-scm-server

CMF_DEFAULTS=/opt/cloudera-manager/cm-5.7.0/etc/default

添加系統(tǒng)服務(wù)：

cp /opt/cloudera-manager/cm-5.7.0/etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server

chkconfig --add cloudera-scm-server

chkconfig cloudera-scm-server on

-------------------------------------------------- manager機(jī)器-----------------------------------------------------------

-------------------------------------------------- 所有機(jī)器-----------------------------------------------------------

同理把/opt/cloudera-manager/cm-5.7.0/etc/init.d/下的cloudera-scm-agent 也設(shè)置成系統(tǒng)服務(wù)并啟動

cp cloudera-scm-agent /etc/init.d/

chkconfig --add cloudera-scm-agent

vim /etc/init.d/cloudera-scm-agent 不這樣會報啟動命令里面的命令找不到路徑

CMF_DEFAULTS=/opt/cloudera-manager/cm-5.7.0/etc/default

/etc/init.d/cloudera-scm-agent start 啟動

把 /etc/init.d/cloudera-scm-agent 復(fù)制到全部機(jī)器

vi /opt/cloudera-manager/cm-5.7.0/etc/cloudera-scm-agent/config.ini 注意這個文件 到要指定到manager那臺機(jī)器

每臺都加系統(tǒng)服務(wù)和啟動

Web頁面登錄cdh安裝其他軟件

7180端口訪問 manager的機(jī)器 admin admin 默認(rèn)

這里就注意了選擇新機(jī)器 如果沒有安裝剛才的agent這里也能安裝比咱們上面的簡單

下面是版本的選擇

到這就安裝了一個沒有安裝agent的機(jī)器

選擇當(dāng)前的管理主機(jī)

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 記得授權(quán)數(shù)據(jù)庫

grant all privileges on *.* to hive@'%' identified by 'xxx';

點(diǎn)擊測試通過就行

/etc/sudoers里面的Defaults requiretty需要注釋掉。

在安裝服務(wù)界面，執(zhí)行失敗時，點(diǎn)擊查看詳細(xì)信息，會給出這樣類似的錯誤信息。查看/opt/cloudera-manager/cm-5.4.1/run/cloudera-scm-agent/process目錄下相關(guān)日志。 發(fā)現(xiàn)上面這個錯誤信息是由于JAVA_HOME問題，啟動腳本中，JAVA_HOME并不是根據(jù)環(huán)境變量來獲取，而是在它列舉的幾個目錄下尋找，所以只要把你的java路徑ln -s過去就行，比如我的 ln -s /usr/local/java /usr/java/jdk1.7

如果還是不行后退一步在下一步

到這manager就完成了安裝

添加服務(wù)oozie

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 建庫授權(quán)

grant all privileges on *.* to oozie@'%' identified by 'xxxx';

添加kafka服務(wù)

有個紅色警告

此角色需要在可以啟動前激活以下其他 Parcel：[kafka]。

出現(xiàn)上面的返回

報錯了不要緊，點(diǎn)到集群主頁修改配置 不用點(diǎn)完成上面那個也行

修改完成配置再啟動完美解決 所有的記錄安裝就到這了有問題可以聯(lián)系我一起來解決

• 更換kafka版本2

https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_kafka 這可以查看版本對應(yīng)關(guān)系

訪問cdh控制面板：

點(diǎn)擊圖標(biāo)

再點(diǎn)擊配置

遠(yuǎn)程parcel地址點(diǎn)擊?號選擇

https://archive.cloudera.com/kafka/parcels/2.0.0/ 加上這個版本的parcel地址 點(diǎn)擊保存

在到集群里面點(diǎn)擊kafka

把服務(wù)停止。

在到禮物里面把相應(yīng)的版本停止

找到新的版本后點(diǎn)擊下載 在點(diǎn)激活 ，

/opt/cloudera/parcels/ 多了一個KAFKA的軟連接

執(zhí)行一個命令看看情況:

kafka-topics --zookeeper 10.10.32.21:2181 –describe ip為ZooKeeper

的地址 看Leader：值有沒有-1的沒有就正常有就有問題了。