HBase二級索引案例分析

這篇文章主要介紹“HBase二級索引案例分析”，在日常操作中，相信很多人在HBase二級索引案例分析問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”HBase二級索引案例分析”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

查詢需求

多個查詢條件構(gòu)成多維度的組合查詢，需要根據(jù)不同組合查詢出符合查詢條件的數(shù)據(jù)

HBase的局限性

HBase本身只提供基于行鍵和全表掃描的查詢，而行鍵索引單一，對于多維度的查詢困難(如：對于價格+天數(shù)+酒店+交通的多條件組合查詢困難)，全表掃描效率低下。

二級索引的設(shè)計

設(shè)計思路

二級索引的本質(zhì)就是建立各列值與行鍵之間的映射關(guān)系

如(圖1)，當要對F:C1這列建立索引時，只需要建立F:C1各列值到其對應(yīng)行鍵的映射關(guān)系，如C11->RK1等，這樣就完成了對F:C1列值的二級索引的構(gòu)建，當要查詢符合F:C1=C11對應(yīng)的F:C2的列值時(即根據(jù)C1=C11來查詢C2的值,圖1青色部分)其查詢步驟如下：  1. 根據(jù)C1=C11到索引數(shù)據(jù)中查找其對應(yīng)的RK，查詢得到其對應(yīng)的RK=RK1 2. 得到RK1后就自然能根據(jù)RK1來查詢C2的值了  這是構(gòu)建二級索引大概思路，其他組合查詢的聯(lián)合索引的建立也類似。

邏輯視圖

(圖2) 部分數(shù)據(jù)在HBase中存儲的邏輯視圖

表中有兩個列族，其中一個是列族INDEX，其并不存儲任何的數(shù)據(jù)，僅僅是為了將索引數(shù)據(jù)與主數(shù)據(jù)分開存儲(因為在HBase中同一列族的數(shù)據(jù)會被壓縮在一起存儲)，索引數(shù)據(jù)的行鍵格式為：RegionStartKey-索引名-索引鍵-Rowkwy,其他RegionStartKey就是出發(fā)點，因為在創(chuàng)建HBase表時就對表根據(jù)出發(fā)點進行了預(yù)分區(qū)，索引鍵為主數(shù)據(jù)中某列(可能是多列)的列值，Rowkey對應(yīng)主數(shù)據(jù)的行鍵;主數(shù)據(jù)的行鍵格式為：出發(fā)點-目的地-性價比，所以在存儲數(shù)據(jù)時，同一出發(fā)點  目的地的數(shù)據(jù)默認是按性價比排序的;索引數(shù)據(jù)的行鍵和主數(shù)據(jù)的行鍵的前綴都是出發(fā)點，所以在存儲時相同出發(fā)點的索引數(shù)據(jù)和主數(shù)據(jù)是存儲在同一個Region中的，這樣避免了在通過索引得到RK后又去其他Region上查詢目標數(shù)據(jù)，提高了查詢效率。

數(shù)據(jù)的查詢過程

假設(shè)查詢的條件：

• 出發(fā)點：澳門

• 目的地：杭州

• 出游天數(shù)：3天

• 酒店等級：4

其查詢步驟如下：

• 首先根據(jù)查詢條件來確定索引名，根據(jù)其查詢條件為出游天數(shù)據(jù) 酒店等級確定索引名為aaa,這樣就將查詢的范圍縮小在索引名為aaa的索引數(shù)據(jù)區(qū)內(nèi)

• 根據(jù)出游天數(shù)的值為3天，酒店等級的值為4，結(jié)合Phoenix的模糊查詢就能確定符合這兩個查詢條件的索引數(shù)據(jù)的行鍵

• 得到索引數(shù)據(jù)行鍵后就截取其最后的RowKey

• 最關(guān)鍵的Rowkey得到后就能輕易的獲得其對應(yīng)的列值了，整個查詢過程就結(jié)束了。

對于其他更為復雜的組合查詢的二級索引設(shè)計如類似。

缺點

需要額外的存儲空間，屬 一種以空間換時間的方式。

1. 將查詢條件中的可選字段轉(zhuǎn)換成數(shù)字能節(jié)省存儲空間，如交通工具中的飛機，高鐵，火車，輪船，汽車分別轉(zhuǎn)換成5,4,3,2,1

2. 將漢字轉(zhuǎn)換成拼音才能保證數(shù)據(jù)按HBase的排序規(guī)則排序

3. 如果數(shù)據(jù)量在百萬級別以下可使用Phoenix(HBase的SQL查詢引擎)模糊查詢功能減少索引行鍵的設(shè)計

到此，關(guān)于“HBase二級索引案例分析”的學習就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續(xù)學習更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>