Hue3.9如何搭建集成HDFS和Hive

這篇文章給大家分享的是有關(guān)Hue3.9如何搭建集成HDFS和Hive的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

運行環(huán)境：

• CentOS 6.5

• hadoop-2.6.0-cdh6.7.0

• hadoop-2.6.0-cdh6.7.0

• hive-1.1.0-cdh6.7.0

• hue-3.9.0-cdh6.7.0

• sqoop-1.4.6-cdh6.7.0

Hue:

    官網(wǎng)地址：http://gethue.com/

    官網(wǎng)安裝說明：http://cloudera.github.io/hue/latest/admin-manual/manual.html#centosrhel 
    官網(wǎng)github地址： http://github.com/cloudera/hue

    Hue是一個開源的Apache Hadoop UI系統(tǒng)，最早是由Cloudera Desktop演化而來，由Cloudera貢獻(xiàn)給開源社區(qū)，它是基于Python Web框架Django實現(xiàn)的。通過使用Hue我們可以在瀏覽器端的Web控制臺上與Hadoop集群進(jìn)行交互來分析處理數(shù)據(jù)，例如操作HDFS上的數(shù)據(jù)，運行MapReduce Job,Hive

等等    

支持功能：

• 數(shù)據(jù)庫查詢編輯器,支持 Hive, Impala, MySql, PostGres, Sqlite and Oracle

• 動態(tài)查詢儀表盤,支持 Solr

• 支持 Spark 編輯器和儀表盤

• 瀏覽器查看狀態(tài),支持 YARN, HDFS, Hive table Metastore, HBase, ZooKeeper

• 支持 Pig Editor, Sqoop2, Oozie workflows 編輯器和儀表盤

• 將數(shù)據(jù)導(dǎo)入hdfs

1.CentOS6.5依賴環(huán)境：

yum install -y ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel 
libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel
gmp-devel

2.下載CDH5.7.0平臺Hue:

wget http://archive-primary.cloudera.com/cdh6/cdh/5/http://archive-primary.cloudera.com/cdh6/cdh/5/hue-3.9.0-cdh6.7.0.tar.gz

3.環(huán)境變量配置：

vim /.bash_profile
export HUE_HOME=/home/hadoop/app/hue-3.9.0
export PATH=$HUE_HOME/bin:$PATH
source ~/.bash_profile

4.編譯源碼(Hue3.9)

tar -xzvf hue-3.9.0-cdh6.7.0.tar.gz  -C ~/app/    -- 檢查解壓后的用戶和用戶組
cd hue-3.9.0
make apps

編譯過程需要下很多模塊和包，所以根據(jù)你的網(wǎng)速可能會需要編譯很久。

最后出現(xiàn)xxx post-processed說明編譯成功

1190 static files copied to '/home/hadoop/app/hue-3.9.0/build/static', 1190 post-processed.
make[1]: Leaving directory `/home/hadoop/app/hue-3.9.0/apps'

5.Hue配置全局文件($HUE_HOME/desktop/conf/hue.ini)

[desktop]
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o
http_host=hadoop001
time_zone=Asia/Shanghai

6.Hue集成Hadoop($HADOOP_HOME/etc/hadoop)

hdfs-site.xml
	<property>
		<name>dfs.webhdfs.enabled</name>
		<value>true</value>
	</property>
	
core-site.xml
	<property>
		<name>hadoop.proxyuser.hue.hosts</name>
		<value>*</value>
	</property>
	<property>
		<name>hadoop.proxyuser.hue.groups</name>
		<value>*</value>
	</property>
httpfs-site.xml
	<property>
		<name>httpfs.proxyuser.hue.hosts</name>
		<value>*</value>
	</property>
	<property>
		<name>httpfs.proxyuser.hue.groups</name>
		<value>*</value>
	</property>

6.1 Hue集成Hadoop($HUE_HOME/desktop/conf/hue.ini)

[hadoop]
  # Configuration for HDFS NameNode
  # ------------------------------------------------------------------------
  [[hdfs_clusters]]
    # HA support by using HttpFs
    [[[default]]]
      # Enter the filesystem uri
      fs_defaultfs=hdfs://localhost:8020    
      # NameNode logical name.
      ## logical_name=
      # Use WebHdfs/HttpFs as the communication mechanism.
      # Domain should be the NameNode or HttpFs host.
      # Default port is 14000 for HttpFs.
      webhdfs_url=    -- 取消注釋

7.Hue集成Hive($HIVE_HOME/conf/hive-site.xml)

	  <property>
                <name>hive.server2.thrift.bind.port</name>
                <value>10000</value>
        </property>
        <property>
                <name>hive.server2.thrift.bind.host</name>
                <value>hadoop001</value>
        </property>
        <property>
                <name>hive.server2.long.polling.timeout</name>
                <value>5000</value>
        </property>
         <property>
            <name>hive.server2.authentication</name>
           <value>NOSASL</value>
         </property>

7.1.Hue集成Hive($HUE_HOME/desktop/conf/hue.ini)

[beeswax]
  # Host where HiveServer2 is running.
  # If Kerberos security is enabled, use fully-qualified domain name (FQDN).
  hive_server_host=hadoop001
  # Port where HiveServer2 Thrift server runs on.
  hive_server_port=10000
  # Hive configuration directory, where hive-site.xml is located
  hive_conf_dir=/home/hadoop/app/apache-hive-2.2.0-bin/conf

8.啟動Hue

-- 先啟動Hive
[hadoop@hadoop001 bin]$ ./hiveserver2 --hiveconf hive.server2.thrift.port=10000
-- 啟動hue服務(wù)
[hadoop@hadoop001 hue-3.9.0]$ build/env/bin/supervisor

9.訪問Hue操作hive

http://IP:8888/

由于初次創(chuàng)建的用戶admin用戶 只能權(quán)限操作HDFS上/user/admin/* 目錄

如果要操作/user/hadoop/目錄，hue必須創(chuàng)建hadoop用戶操作；

遇到的權(quán)限報錯：

Note: you are a Hue admin but not a HDFS superuser, "hadoop" or part of HDFS supergroup, 
"supergroup".

解決辦法：

# This should be the hadoop cluster admin
default_hdfs_superuser=hadoop      -- HDFS 修改為 hadoop

感謝各位的閱讀！關(guān)于“Hue3.9如何搭建集成HDFS和Hive”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！