怎么安裝hdfs、hbase和opentsdb

這篇文章主要講解了“怎么安裝hdfs、hbase和opentsdb”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“怎么安裝hdfs、hbase和opentsdb”吧！

系統(tǒng)準(zhǔn)備：CentOS6.5

1. 配置靜態(tài)IP，修改hostname

使用ifconfig查看當(dāng)前網(wǎng)卡MAC地址與名稱。假定網(wǎng)卡名稱為eth0,MAC地址為33:44:55:66:77:88 編輯/etc/sysconfig/network-scripts/ifcfg-eth0:

DEVICE="eth0"
BOOTPROTO="none"
ONBOOT="yes"
HWADDR="33:44:55:66:77:88"
NETMASK="255.255.255.0"
GATEWAY="192.168.1.1"
IPADDR="192.168.1.110"

重啟network服務(wù)：service network restart 修改hostname：編輯/etc/sysconfig/network文件，將hostname一項修改為自己的hostname,需重啟生效

2. 時間同步。使用ntp同步時間后，可以使用如下命令寫入硬件時間:hwclock --systohc -u

3. 關(guān)閉防火墻，并禁止防火墻開機啟動：

service iptables stop
chkconfig iptables off

4. 創(chuàng)建hadoop用戶和組

groupadd hadoop
useradd -g hadoop hadoop

5. 調(diào)整hadoop用戶的系統(tǒng)limits限制：編輯/etc/security/limits.conf文件，在后面添加：

hadoop     -   nofile  32768
hadoop     -   nproc   32000

在hadoop用戶下，使用命令ulimit -a查看改動情況。

6. 修改機器的/etc/hosts文件。在其中列出所有機器的IP地址與機器hostname，以及127.0.0.1 localhost，然后同步到所有機器上。

7. 配置機器相互間hadoop用戶的無密碼訪問

切換至hadoop用戶，進入該用戶主文件夾下的.ssh文件夾下（沒有則創(chuàng)建） 運行命令ssh-keygen -t dsa -P ''，確認(rèn)，生成id_dsa與id_dsa.pub文件 將id_dsa.pub文件改名，以便所有機器之間相互區(qū)別 將所有機器上的.pub文件使用cat追加到文件authorized_keys文件中，并修改該文件權(quán)限：chmod 600 authorized_keys 將authorized_keys同步至所有機器上hadoop用戶主目錄下的.ssh文件夾下

8. 所有機器安裝jdk，使用yum安裝，注意相同版本

安裝hadoop

1. 下載hadoop 2.2.0版本，解壓至目錄/usr/local/hadoop，該目錄即為HADOOP_HOME

2. 修改HADOOP_HOME下的etc/hadoop/hadoop-env.sh，修改其中的變量JAVA_HOME到正確位置

3. 修改HADOOP_HOME下的etc/hadoop/core-site.xml文件，在<configuration>之間加入配置。核心配置如下：

<configuration>
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://namenode節(jié)點主機名:9000</value>
   </property>

   <property>
       <name>hadoop.tmp.dir</name>
       <value>hadoop臨時文件夾存放路徑</value>
   </property>
</configuration>

4. 修改HADOOP_HOME下的etc/hadoop/hdfs-site.xml文件，在<configuration>之間加入配置。核心配置如下：

<configuration>
   <property>
       <name>dfs.datanode.data.dir</name>
       <value>hadoop臨時文件夾存放路徑/dfs/data</value>
   </property>

   <property>
       <name>dfs.namenode.name.dir</name>
       <value>hadoop臨時文件夾存放路徑/dfs/name</value>
   </property>

   <property>
       <name>dfs.replication</name>
       <value>3</value>
   </property>
</configuration>

5. 修改HADOOP_HOME下的masters文件夾，寫入master主機名，每個一行

6. 修改HADOOP_HOME下的slaves文件夾，寫入slaves主機名，每個一行

7. 將/usr/local/hadoop/bin，/usr/local/hadoop/sbin加入系統(tǒng)路徑

8. 使用scp將/usr/local/hadoop文件夾所有內(nèi)容同步至所有機器中，并注意所有機器中臨時文件夾的可訪問性

9. 初始化namenode：hadoop namenode -format

10. 啟動hdfs：start-dfs.sh，訪問http://namenode節(jié)點主機名:50070查看結(jié)果

安裝Hbase

1. 下載hbase 0.98.5，解壓至目錄/usr/local/hbase下

2. 修改hbase目錄下conf/hbase-env.sh文件，修改變量JAVA_HOME，將變量HBASE_MANAGES_ZK修改為true

3. 修改conf/core-site.xml文件，核心配置如下：

<configuration>
   <property>
       <name>hbase.rootdir</name>
       <value>hdfs://namenode節(jié)點主機名:9000/hbase</value>
   </property>

   <property>
       <name>hbase.cluster.distributed</name>
       <value>true</value>
   </property>

   <property>
       <name>hbase.master</name>
       <value>master節(jié)點主機名:60000</value>
   </property>

   <property>
       <name>hbase.zookeeper.quorum</name>
       <value>啟動zookeeper服務(wù)的主機列表，有多個用逗號隔開</value>
   </property>

   <property>
       <name>hbase.zookeeper.property.dataDir</name>
       <value>zookeeper臨時文件存放目錄</value>
   </property>
</configuration>

4. 修改conf/regionservers文件，其中列出要啟動regionserver的主機名

5. 將hbase目錄下bin目錄加入系統(tǒng)路徑中

6. 使用scp將hbase目錄同步至所有機器中，確保臨時文件夾的可訪問性

7. 啟動hbase：在主節(jié)點上start-hbase.sh，訪問http://master節(jié)點主機名:60010查看結(jié)果

安裝openTSDB

1. 確保機器中安裝了gnuplot

2. 下載openTSDB的rpm安裝包，直接裝入機器中

3. 修改/etc/opentsdb/opentsdb.conf文件，修改如下三項：

tsd.http.cachedir = opentsdb臨時文件存放位置 
tsd.http.staticroot = /usr/share/opentsdb/static/
tsd.storage.hbase.zk_quorum = 運行zookeeper機器的IP地址

4. 在hbase正常運行下，運行腳本env COMPRESSION=NONE HBASE_HOME=path/to/hbase /usr/share/opentsdb/tools/create_table.sh創(chuàng)建表

5. 啟動tsdb：tsdb tsd，瀏覽器訪問當(dāng)前主機的4242端口，查看結(jié)果

6. 運行命令tsdb mkmetric proc.loadavg.1m proc.loadavg.5m創(chuàng)建兩個metric，用來測試

7. 運行如下腳本持續(xù)向數(shù)據(jù)庫中寫入數(shù)據(jù)，在4242監(jiān)控窗口上找到相應(yīng)metric，查看測試結(jié)果

#!/bin/bash
set -e
while true; do
  awk -v now=`date +%s` -v host=psyDebian \
  '{ print "put proc.loadavg.1m " now " " $1 " host=" host;
     print "put proc.loadavg.5m " now " " $2 " host=" host }' /proc/loadavg
  sleep 2
done | nc -w 4 192.168.1.106 4242

感謝各位的閱讀，以上就是“怎么安裝hdfs、hbase和opentsdb”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對怎么安裝hdfs、hbase和opentsdb這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關(guān)知識點的文章，歡迎關(guān)注！