在Hive下配置mysql元數據

本篇內容介紹了“在Hive下配置mysql元數據”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

1、首先在ubuntu14.04上安裝mysql，首先嘗試的下載mysql的tar包安裝，未成功，然后使用在線安裝sudo apt-get install mysql-server mysql-client，安裝成功。

2、登錄數據庫

    a) 創(chuàng)建hive用戶，create user hive identified by ‘hive’

    b) 授予所有權限grant all privileges on *.* to ‘hive’ with grant option;

    c) 創(chuàng)建hive數據庫，create database ‘hive’

3、下載mysql連接java的驅動，復制到/opt/hive-1.1.1/lib下

4、修改/opt/hive-1.1.1/conf中的hive-default.xml為hive-site.xml

    a) <property>

             <name>javax.jdo.option.ConnectionURL</name>

            <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>

            <description>JDBC connect string for a JDBC metastore</description>

        </property>

    b) <property>

            <name>javax.jdo.option.ConnectionDriverName</name>

            <value>com.mysql.jdbc.Driver</value>

            <description>Driver class name for a JDBC metastore</description>

        </property>

    c) <property>

            <name>javax.jdo.option.ConnectionUserName</name>

            <value>hive</value>

            <description>username to use against metastore database</description>

        </property>

    d) <property>

            <name>javax.jdo.option.ConnectionPassword</name>

            <value>hive</value>

            <description>password to use against metastore database</description>

        </property>

5、啟動hadoop，然后啟動hive

    a) 啟動出現(xiàn)如下錯誤

        解決方法：

    b) 報錯

        解決方法：

            將a中的相對路徑修改為絕對路徑。

    6、配置hive環(huán)境變量時，修改了linux的etc目錄權限為777后，重啟linux機器后，

    發(fā)現(xiàn)su、sudo等命令無法使用，hadoop啟動失敗。

    7、重新克隆備份虛擬機，遇到一些問題，如：無密碼登錄失效，轉到root用戶失敗

        a) Ubuntu 下 su:authentication failure的解決辦法

            i. $ sudo passwd root  

            ii. Enter new UNIX password:   

            iii. Retype new UNIX password:   

            iv. passwd: password updated successfully

        b) 重設無密碼登錄。

            刪除/home/hadoop/.ssh后，重新使用ssh-keygen -t rsa -P “” ，只生成兩個文件。

            重新創(chuàng)建authorized_keys文件，touch authorized_keys；將公鑰復制進去

            cat id_rsa.pub >> authorized_keys,便可無密碼登錄

        c) 從一臺服務器復制到另一臺服務器命令：

            scp /home/hadoop/.ssh/id_rsa hadoop@192.168.93.37:/home/hadoop/.ssh/

        d) 創(chuàng)建[外部表]發(fā)生錯誤，提示信息如下圖：

            查詢資料得，create table ... stored by textfile 在hive-1.1.1存在Bug，在1.0.0，

      1.0.1,1.1.0,1.2.0沒有問題。Bug地址：http://osdir.com/ml/general/2015-05/msg35094.html

        e) 創(chuàng)建[分區(qū)表]報錯，提示如下：

        語法錯誤：row format delimited 后面不應該加'\t'

“在Hive下配置mysql元數據”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！