大數(shù)據(jù)與Hbase的示例分析

小編給大家分享一下大數(shù)據(jù)與Hbase的示例分析，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

1、大數(shù)據(jù)與Hbase

大數(shù)據(jù)在近幾年發(fā)展迅速，而實(shí)時(shí)計(jì)算也是一個(gè)重要的發(fā)展趨勢(shì)。不管是企業(yè)中的日志數(shù)據(jù)，還是傳感器、智能設(shè)備等等產(chǎn)生的數(shù)據(jù)，不計(jì)其數(shù)。

而這些數(shù)據(jù)中結(jié)構(gòu)化的數(shù)據(jù)只占一小部分，大部分是非結(jié)構(gòu)化的數(shù)據(jù)。這個(gè)時(shí)候，比如圖片視頻等就不能輕松的存儲(chǔ)在關(guān)系型數(shù)據(jù)庫中，而大數(shù)據(jù)是可以對(duì)各種類型的數(shù)據(jù)都可以進(jìn)行處理的。

但關(guān)系型數(shù)據(jù)庫有幾點(diǎn)缺陷：

無法應(yīng)對(duì)高并發(fā)的考驗(yàn)，沒有辦法橫向擴(kuò)展，事務(wù)一致性對(duì)性能的影響。

而Nosql數(shù)據(jù)庫，也就是Not Only Sql的縮寫。擴(kuò)展性強(qiáng)，并發(fā)性能好，數(shù)據(jù)模型靈活。

Hbase，也就是Hadoop Database是一個(gè)高可靠、高性能、可伸縮的分布式數(shù)據(jù)庫。Hbase參考了谷歌的BigTable建模，使用HDFS作為底層存儲(chǔ)。使用Zookeeper作為協(xié)同服務(wù)組件。

Hbase使用Java編寫，還是一種NoSQL數(shù)據(jù)庫，這些特性決定了Hbase獨(dú)特的應(yīng)用場(chǎng)景。

2、概念特性

HBASE是一個(gè)數(shù)據(jù)庫----可以提供數(shù)據(jù)的實(shí)時(shí)隨機(jī)讀寫

HBASE與mysql、oralce、db2、sqlserver等關(guān)系型數(shù)據(jù)庫不同，它是一個(gè)NoSQL數(shù)據(jù)庫（非關(guān)系型數(shù)據(jù)庫）

Hbase的表模型與關(guān)系型數(shù)據(jù)庫的表模型不同：

Hbase的表沒有固定的字段定義；

Hbase的表中每行存儲(chǔ)的都是一些key-value對(duì)；

Hbase的表中有列族的劃分，用戶可以指定將哪些kv插入哪個(gè)列族；

Hbase的表在物理存儲(chǔ)上，是按照列族來分割的，不同列族的數(shù)據(jù)一定存儲(chǔ)在不同的文件中；

Hbase的表中的每一行都固定有一個(gè)行鍵，而且每一行的行鍵在表中不能重復(fù)；

Hbase中的數(shù)據(jù)，包含行鍵，包含key，包含value，都是byte[ ]類型，hbase不負(fù)責(zé)為用戶維護(hù)數(shù)據(jù)類型；

HBASE對(duì)事務(wù)的支持很差；

HBASE相比于其他nosql數(shù)據(jù)庫(mongodb、redis、cassendra、hazelcast)的特點(diǎn)：

Hbase的表數(shù)據(jù)存儲(chǔ)在HDFS文件系統(tǒng)中

從而，hbase具備如下特性：存儲(chǔ)容量可以線性擴(kuò)展；數(shù)據(jù)存儲(chǔ)的安全性可靠性極高！

3、核心模塊

客戶端Client

整個(gè)Hbase的入口，使用者通過客戶端操作Hbase。通過客戶端與HMaster和RegionServer進(jìn)行通訊。管理類操作與HMaster通信，讀寫類操作與RegionServer通訊。

協(xié)調(diào)服務(wù)zookeeper

zookeeper負(fù)責(zé)管理Hbase中多個(gè)HMaster的選舉，服務(wù)器間狀態(tài)同步。

主節(jié)點(diǎn)HMaster

HMaster可以啟動(dòng)多個(gè)，由zookeeper保證總有一個(gè)正常運(yùn)行，其他作為備選。

HMaster主要負(fù)責(zé)Table和Region的管理工作。

節(jié)點(diǎn)HRegionServer

HRegionServer主要負(fù)責(zé)響應(yīng)用戶IO請(qǐng)求，向HDFS中讀寫數(shù)據(jù)。HRegionServer管理了一系列的HRegion對(duì)象。HRegion對(duì)應(yīng)了Table中的一個(gè)Region。HRegion由多個(gè)HStore組成，HStore對(duì)用了Table中一個(gè)Column Family。

而且每個(gè)HRegionServer都有一個(gè)HLog對(duì)象，用于數(shù)據(jù)恢復(fù)。

4、使用場(chǎng)景

搜索引擎

生成索引，在查詢時(shí)通過對(duì)條件的拼接，迅速的查找到要查詢的數(shù)據(jù)。

實(shí)時(shí)流式計(jì)算

不管是實(shí)時(shí)的推薦系統(tǒng)，還是日志的增量存儲(chǔ)，都是實(shí)時(shí)流式計(jì)算的一個(gè)應(yīng)用。

通過將數(shù)據(jù)增量的存入Hbase，并在流式處理中實(shí)時(shí)查詢Hbase，結(jié)合歷史得到最終的分析結(jié)果。

以上是“大數(shù)據(jù)與Hbase的示例分析”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！