您好,登錄后才能下訂單哦!
由于項(xiàng)目需要,使用hbase來(lái)存儲(chǔ)數(shù)據(jù)。使用hive來(lái)查詢數(shù)據(jù)。所以這里需要把hbase 和 hive整合使用。在網(wǎng)上找了下資料,其實(shí)也挺簡(jiǎn)單的,主要在配置。下面我把整合的步驟做一個(gè)記錄。
1.環(huán)境:hadoop1.0.4,hbase0.92.0,hive0.9.0
2.在hadoop hbase hive 環(huán)境都配好的情況下(如果沒(méi)有配置好請(qǐng)參考其他相關(guān)文檔),進(jìn)行如下操作。
注意:我這里的hive-site.xml是自行創(chuàng)建的文件,在默認(rèn)情況下不存在這個(gè)文件。
3.現(xiàn)在你可以嘗試啟動(dòng)hive了。
mt@ubuntu:~/hive$ bin/hive
接著可以做下測(cè)試了。
CREATE TABLE hbase_table_1(key int, value string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")
TBLPROPERTIES ("hbase.table.name" = "xyz");
hbase.table.name 定義在hbase的table名稱
hbase.columns.mapping 定義在hbase的列族
新建hive的數(shù)據(jù)表
CREATE TABLE pokes (foo INT, bar STRING);
批量插入數(shù)據(jù)
LOAD DATA LOCAL INPATH './examples/files/kv1.txt' OVERWRITE INTO TABLE
使用sql導(dǎo)入hbase_table_1
INSERT OVERWRITE TABLE hbase_table_1 SELECT * FROM pokes WHERE foo=86;
查看數(shù)據(jù)
hive> select * from hbase_table_1;
這時(shí)可以登錄Hbase去查看數(shù)據(jù)了.
hbase(main):001:0> describe 'xyz'
hbase(main):002:0> scan 'xyz'
hbase(main):003:0> put 'xyz','100','cf1:val','www.360buy.com'
這時(shí)在Hive中可以看到剛才在Hbase中插入的數(shù)據(jù)了。
hive> select * from hbase_table_1
hive訪問(wèn)已經(jīng)存在的hbase
使用CREATE EXTERNAL TABLE
CREATE EXTERNAL TABLE hbase_table_2(key int, value string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = "cf1:val")
TBLPROPERTIES("hbase.table.name" = "some_existing_table");
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。