HBase數(shù)據(jù)模型和表設(shè)計知識點有哪些

這篇文章主要介紹“HBase數(shù)據(jù)模型和表設(shè)計知識點有哪些”，在日常操作中，相信很多人在HBase數(shù)據(jù)模型和表設(shè)計知識點有哪些問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”HBase數(shù)據(jù)模型和表設(shè)計知識點有哪些”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

術(shù)語

Table

• Hbase的table由多個行組成。

Row

• 一個行在Hbase中由一個或多個有值的列組成。Row按照字母進行排序，因此行鍵的設(shè)計非常重要。這種設(shè)計方式可以讓有關(guān)系的行非常的近，通常行鍵的設(shè)計是網(wǎng)站的域名反轉(zhuǎn)，比如(org.apache.www, org.apache.mail, org.apache.jira)，這樣的話所有的Apache的域名就很接近。

Column Family（列簇或列族）

• 列簇在物理上包含了許多的列與列的值，每個列簇都有一些存儲的屬性可配置。例如是否使用緩存，壓縮類型，存儲版本數(shù)等。在表中，每一行都有相同的列簇，盡管有些列簇什么東西也沒有存。

Column

• 列由列簇加上列的標識組成，一般是“列簇：列標識”，創(chuàng)建表的時候不用指定列名（列標識）

Column Qualifier

• 列簇的限定詞，理解為列的唯一標識。但是列標識是可以改變的，因此每一行可能有不同的列標識

Cell

• Cell是由row，column family,column qualifier包含時間戳與值組成的，一般表達某個值的版本。

Timestamp

• 時間戳一般寫在value的旁邊，代表某個值的版本號，默認的時間戳是寫入數(shù)據(jù)的那一刻，也可以在寫入數(shù)據(jù)的時候指定不同的時間戳

標識設(shè)計要點

• 只要是數(shù)據(jù)庫都存在，模式設(shè)計的問題，關(guān)系型中有模式設(shè)計的范式，Hbase作為列式存儲數(shù)據(jù)庫，其模式設(shè)計也非常重要。

hbase與關(guān)系型數(shù)據(jù)庫對比

設(shè)計時考慮因素

• Hbase關(guān)鍵概念：表，rowkey，列簇，時間戳

• 這個表應(yīng)該有多少列簇

• 列簇使用什么數(shù)據(jù)

• 每個列簇有有多少列

• 列名是什么，盡管列名不必在建表時定義，但讀寫數(shù)據(jù)是要知道的

• 單元應(yīng)該存放什么數(shù)據(jù)

• 每個單元存儲多少時間版本

• 行鍵(rowKey)結(jié)構(gòu)是什么，應(yīng)該包含什么信息

設(shè)計要點

行鍵rowkey設(shè)計

• 說明

• 行鍵是關(guān)鍵部分，直接關(guān)系到后續(xù)服務(wù)的訪問性能。如果行鍵設(shè)計不合理，后續(xù)查詢服務(wù)效率會成倍的遞減。

• 細節(jié)

• rowkey全局唯一，如果重復(fù)添加數(shù)據(jù)會覆蓋。

• 避免單調(diào)的遞增行鍵，因為Hbase的行鍵是有序排列的，這樣可能導(dǎo)致一段時間內(nèi)大部分寫入集中在某一個Region上進行操作，負載都在一臺節(jié)點上?？梢栽O(shè)計成： [metric_type][event_timestamp]，不同的metric_type可以將壓力分散到不同的region上

• 行鍵短到可讀即可，因為查詢短鍵比長鍵性能好些，所以設(shè)計時要權(quán)衡長度，最好不要超過16個字節(jié)。

• 行鍵不能改變，唯一可以改變的方式是先刪除后插入

列簇設(shè)計

• 說明

• 列簇是一些列的集合，一個列簇的成員有相同的前綴，以冒號(:)作為分隔符。

• 細節(jié)

• 當前Hbase不能很好處理2~3個以上的列簇，所以盡可能讓列簇少一些，如果表有多個列簇，列簇A有100萬行數(shù)據(jù)，列簇B有10億行，那么列簇A會分散到很多的Region導(dǎo)致掃描列簇A的時候效率底下。

• 列簇名的長度要盡量小，一個為了節(jié)省空間，另外加快效率，比如d表示data，v表示value

列簇屬性

• HFile數(shù)據(jù)塊，默認是64KB，數(shù)據(jù)庫數(shù)據(jù)的大小影響數(shù)據(jù)塊索引的大小。數(shù)據(jù)塊大的話一次加載進內(nèi)存的數(shù)據(jù)越多，掃描查詢效果越好。但是數(shù)據(jù)塊小的話，隨機查詢性能更好

• 數(shù)據(jù)塊緩存，數(shù)據(jù)塊緩存默認是打開的，如果一些比較少訪問的數(shù)據(jù)可以選擇關(guān)閉緩存

• 數(shù)據(jù)壓縮，壓縮會提高磁盤利用率，但是會增加CPU的負載，看情況進行控制

到此，關(guān)于“HBase數(shù)據(jù)模型和表設(shè)計知識點有哪些”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>