您好,登錄后才能下訂單哦!
這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)?lái)有關(guān)hbase與hive是怎么實(shí)現(xiàn)數(shù)據(jù)同步的,文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述,閱讀完這篇文章希望大家可以有所收獲。
一、impala與hive的數(shù)據(jù)同步
首先,我們?cè)趆ive命令行執(zhí)行showdatabases;可以看到有以下幾個(gè)數(shù)據(jù)庫(kù):
然后,我們?cè)趇mpala同樣執(zhí)行showdatabases;可以看到:
目前的數(shù)據(jù)庫(kù)都是一樣的。
下面,我們?cè)趆ive里面執(zhí)行create databaseqyk_test;創(chuàng)建一個(gè)數(shù)據(jù)庫(kù),如下:
然后,我們使用qyk_test這個(gè)數(shù)據(jù)庫(kù)創(chuàng)建一張表,執(zhí)行create table user_info(idbigint, account string, name string, age int) row format delimitedfields terminated by ‘\t';如下:
此時(shí),我們已經(jīng)在hive這邊創(chuàng)建好了,然后直接在impala這邊執(zhí)行showdatabases;可以看到:
連qyk_test這個(gè)數(shù)據(jù)庫(kù)都沒有。
接下來(lái),我們?cè)趇mpala執(zhí)行INVALIDATEMETADATA;然后再查詢可以看到:
數(shù)據(jù)庫(kù)和表都會(huì)同步過(guò)來(lái)。
好了,筆者來(lái)做個(gè)總結(jié):
如果在hive里面做了新增、刪除數(shù)據(jù)庫(kù)、表或者數(shù)據(jù)等更新操作,需要執(zhí)行在impala里面執(zhí)行INVALIDATEMETADATA;命令才能將hive的數(shù)據(jù)同步impala;
如果直接在impala里面新增、刪除數(shù)據(jù)庫(kù)、表或者數(shù)據(jù),會(huì)自動(dòng)同步到hive,無(wú)需執(zhí)行任何命令。
二、hive與hbase的數(shù)據(jù)同步
首先,我們?cè)趆base中創(chuàng)建一張表create ‘user_sysc', {NAME =>‘info'},然后,我們?cè)趆ive中執(zhí)行
CREATEEXTERNALTABLEuser_sysc(keyint,valuestring)ROWFORMATSERDE 'org.apache.hadoop.hive.hbase.HBaseSerDe' STORED BY'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITHSERDEPROPERTIES( 'serialization.format'='\t','hbase.columns.mapping'=':key,info:value','field.delim'='\t') TBLPROPERTIES ('hbase.table.name'='user_sysc')
創(chuàng)建一張外部表指向hbase中的表,然后,我們?cè)趆ive執(zhí)行insert into tableuser_sysc select id,name fromuser_info;入一步份數(shù)據(jù)到user_sysc可以看到:
然后,我們?cè)趆base里面執(zhí)行scan‘user_sysc'可以看到:
接下來(lái),我們?cè)趆base里面執(zhí)行deleteall ‘user_sysc',‘11'刪掉一條數(shù)據(jù),如下:
然后,我在hive里面查詢看看,如下:
說(shuō)明自動(dòng)同步過(guò)來(lái)了。因此,只要?jiǎng)?chuàng)建hive表時(shí),與hbase中的表做了映射,表名和字段名可以不一致,之后無(wú)論在hbase中新增刪除數(shù)據(jù)還是在hive中,都會(huì)自動(dòng)同步。
如果在hive里面是創(chuàng)建的外部表需要在hbase中先創(chuàng)建,內(nèi)部表則會(huì)在hbase中自動(dòng)創(chuàng)建指定的表名。
上述就是小編為大家分享的hbase與hive是怎么實(shí)現(xiàn)數(shù)據(jù)同步的了,如果剛好有類似的疑惑,不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí),歡迎關(guān)注億速云行業(yè)資訊頻道。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。