溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

hive的配置以及元數(shù)據(jù)庫(kù)表描述

發(fā)布時(shí)間:2021-09-10 16:51:40 來(lái)源:億速云 閱讀:182 作者:chen 欄目:大數(shù)據(jù)

本篇內(nèi)容主要講解“hive的配置以及元數(shù)據(jù)庫(kù)表描述”,感興趣的朋友不妨來(lái)看看。本文介紹的方法操作簡(jiǎn)單快捷,實(shí)用性強(qiáng)。下面就讓小編來(lái)帶大家學(xué)習(xí)“hive的配置以及元數(shù)據(jù)庫(kù)表描述”吧!

一、hive配置

  有關(guān)hive的配置都在hive-site.xml文件中。

屬性描述默認(rèn)值
hive.metastore.warehouse.dir指定hive表在hdfs上的存儲(chǔ)路徑/user/hive/warehouse
javax.jdo.option.ConnectionURL配置元數(shù)據(jù)的連接URL 
javax.jdo.option.ConnectionUserName元數(shù)據(jù)庫(kù)連接用戶名 
javax.jdo.option.ConnectionPassword元數(shù)據(jù)庫(kù)連接密碼 

 比如如下的配置:

<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://m000:3306/hive</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>
 
<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hiveuser</value>
  <description>username to use against metastore database</description>
</property>
 
<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>hiveuser</value>
  <description>password to use against metastore database</description>
</property>

在hive中,默認(rèn)情況下新建的數(shù)據(jù)庫(kù)以及表都位于HDFS的hive.metastore.warehouse.dir路徑下。如下圖分別顯示了數(shù)據(jù)庫(kù),表,以及表文件在HDFS上的文件路徑 

hive的配置以及元數(shù)據(jù)庫(kù)表描述

 根據(jù)javax.jdo.option.ConnectionURL中設(shè)置的數(shù)據(jù)庫(kù),以及用戶名和密碼,hive就可以寫入和讀取其元數(shù)據(jù)信息。 
  連接元數(shù)據(jù)庫(kù)除了配置URL,username,password之外,還有一種間接的方式。可以在hive客戶端A上用hive --service metastore啟動(dòng)一個(gè)metastore服務(wù),然后在另外一個(gè)hive客戶端B的hive-site.xml文件中配置hive.metastore.uris=thrift://A:9083也可以訪問到元數(shù)據(jù)信息(9083端口為默認(rèn),可使用-p參數(shù)手動(dòng)指定)。

二、元數(shù)據(jù)庫(kù)表描述

  這一節(jié)描述hive元數(shù)據(jù)庫(kù)中比較重要的一些表的作用,隨著后續(xù)對(duì)hive的使用逐漸補(bǔ)充更多的內(nèi)容。 
mysql元數(shù)據(jù)庫(kù)hive中的表:

表名作用
BUCKETING_COLS存儲(chǔ)bucket字段信息,通過(guò)SD_ID與其他表關(guān)聯(lián)
CDS一個(gè)字段CD_ID,與SDS表關(guān)聯(lián)
COLUMNS_V2存儲(chǔ)字段信息,通過(guò)CD_ID與其他表關(guān)聯(lián)
DATABASE_PARAMS
DBS存儲(chǔ)hive的database信息
DELETEME1410257703262
FUNCS
FUNC_RU
GLOBAL_PRIVS全局變量,與表無(wú)關(guān)
IDXS
INDEX_PARAMS
PARTITIONS分區(qū)記錄,SD_ID, TBL_ID關(guān)聯(lián)
PARTITION_KEYS存儲(chǔ)分區(qū)字段,TBL_ID關(guān)聯(lián)
PARTITION_KEY_VALS分區(qū)的值,通過(guò)PART_ID關(guān)聯(lián)。與PARTITION_KEYS共用同一個(gè)字段INTEGER_IDX來(lái)標(biāo)示不同的分區(qū)字段。
PARTITION_PARAMS存儲(chǔ)某分區(qū)相關(guān)信息,包括文件數(shù),文件大小,記錄條數(shù)等。通過(guò)PART_ID關(guān)聯(lián)
PART_COL_PRIVS
PART_COL_STATS
PART_PRIVS
ROLES角色表,和GLOBAL_PRIVS配合,與表無(wú)關(guān)
SDS存儲(chǔ)輸入輸出format等信息,包括表的format和分區(qū)的format。關(guān)聯(lián)字段CD_ID,SERDE_ID
SD_PARAMS
SEQUENCE_TABLE存儲(chǔ)sqeuence相關(guān)信息,與表無(wú)關(guān)
SERDES存儲(chǔ)序列化反序列化使用的類
SERDE_PARAMS序列化反序列化相關(guān)信息,通過(guò)SERDE_ID關(guān)聯(lián)
SKEWED_COL_NAMES
SKEWED_COL_VALUE_LOC_MAP
SKEWED_STRING_LIST
SKEWED_STRING_LIST_VALUES
SKEWED_VALUES
SORT_COLS排序字段,通過(guò)SD_ID關(guān)聯(lián)
TABLE_PARAMS表相關(guān)信息,是否外部表,通過(guò)TBL_ID關(guān)聯(lián)
TAB_COL_STATS
TBLS存儲(chǔ)表信息,關(guān)聯(lián)字段DB_ID,SD_ID,
TBL_COL_PRIVS
TBL_PRIVS表賦權(quán)限相關(guān)信息,通過(guò)TBL_ID關(guān)聯(lián)
VERSION版本
VERSION_copy版本,通過(guò)VER_ID關(guān)聯(lián)

  這里補(bǔ)充介紹hive的一個(gè)工具腳本metatool。如果需要大量修改元數(shù)據(jù)庫(kù)中的相關(guān)記錄,可以具體查看metatool腳本的使用方法。 
  比如說(shuō),對(duì)一個(gè)HDFS做HA的時(shí)候,如果之前hdfs完整路徑是hdfs://m000,做完HA之后把dfs.nameservices設(shè)置為my-cluster之后,hdfs的訪問路徑就變成了hdfs://my-cluster,此時(shí)就需要對(duì)hive元數(shù)據(jù)庫(kù)中所有記錄作更新,這時(shí)可以參考下面的操作, 
使用metatool腳本,先是新路徑,然后是舊路徑 
/usr/local/bigdata/hive/bin/metatool -updateLocation hdfs://my-cluster hdfs://m00

到此,相信大家對(duì)“hive的配置以及元數(shù)據(jù)庫(kù)表描述”有了更深的了解,不妨來(lái)實(shí)際操作一番吧!這里是億速云網(wǎng)站,更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢,關(guān)注我們,繼續(xù)學(xué)習(xí)!

向AI問一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI