hbase各組件的作用是什么

這篇文章將為大家詳細(xì)講解有關(guān)hbase各組件的作用是什么，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個(gè)參考，希望大家閱讀完這篇文章后對(duì)相關(guān)知識(shí)有一定的了解。

Zookeeper的作用

保證任何時(shí)候，集群中只有一個(gè)master
存貯所有Region的尋址入口。
實(shí)時(shí)監(jiān)控RegionServer的狀態(tài)，將Region server的上線和下線信息實(shí)時(shí)通知給Master
存儲(chǔ)Hbase的schema,包括有哪些table，每個(gè)table有哪些column family 

Hmaster的作用 

Zookeeper避免了HMaster的單點(diǎn)問(wèn)題，一個(gè)Hbase集群可以啟動(dòng)多個(gè)HMaster，而Zookeeper通過(guò)Election的方式保證集群中只有一個(gè)HMaster處于live的狀態(tài)。其它都處于休眠的狀態(tài)，如果HMaster出現(xiàn)問(wèn)題，則Zookeeper 則喚醒其它休眠的HMaster。

1、管理用戶對(duì)Table的增、刪、改、查操作

2、管理RegionServer的負(fù)載均衡、調(diào)整Region的分布

3、在Region Split后，將新Region分布到不同的RegionServer。
4、在RegionServer宕機(jī)后，那該RegionServer上所管理的Region 由HMaster進(jìn)行重新分配。
總結(jié)HMaster 的主要任務(wù)：1、HTable DDL 操作 2、Region 分配工作。 其余的基本上都是client 和RegionServer打交道來(lái)完成的。

HRegionServer的作用

HRegionServer 主要負(fù)責(zé)相應(yīng)用戶的I/O請(qǐng)求，進(jìn)而跟HDFS交互，從HDFS中讀寫(xiě)數(shù)據(jù)，雖然每個(gè)進(jìn)程都很重要，但個(gè)人認(rèn)為HRegionServer是HBase中最核心的進(jìn)程。
            下面對(duì)HRegionServer的內(nèi)部結(jié)構(gòu)做一個(gè)簡(jiǎn)單描述:
            HRegionServer 內(nèi)部管理了一系列的HRegion對(duì)象，HRegion和Region是一回事嗎？其實(shí)HRegion對(duì)應(yīng)了Table中的一個(gè)Region，HRegion是對(duì)其進(jìn)行的封裝。每個(gè)HRegion中由多個(gè)HStore組成。
            HStore則對(duì)應(yīng)Table中的Column Family，不論此Column Family 內(nèi)部有多少數(shù)據(jù)，都會(huì)創(chuàng)建一個(gè)新的HStore,因此將相同屬性的數(shù)據(jù)放進(jìn)相同的Column Family 很有必要，避免一次訪問(wèn)，訪問(wèn)多個(gè)HStore，性能低下。而HStore 則是HBase的核心的存儲(chǔ)單元了，而HStore 由兩個(gè)部分組成，一時(shí)MemStore,再就是StoreFile
            MemStore 是Sorted Memory Buffer ,client 寫(xiě)入的數(shù)據(jù)先寫(xiě)入MemStore,當(dāng)達(dá)到MemStore的閥值時(shí)，將其Flush 成為一個(gè)StoreFile(HFile),StoreFile 則是存儲(chǔ)在硬盤(pán)上的文件

HBase的第一次讀寫(xiě)

在HBase 0.96以后去掉了-ROOT- Table，只剩下這個(gè)特殊的目錄表叫做Meta Table(hbase:meta)，它存儲(chǔ)了集群中所有用戶HRegion的位置信息，而ZooKeeper的節(jié)點(diǎn)中(/hbase/meta-region-server)存儲(chǔ)的則直接是這個(gè)Meta Table的位置，并且這個(gè)Meta Table如以前的-ROOT- Table一樣是不可split的。這樣，客戶端在第一次訪問(wèn)用戶Table的流程就變成了：

　　從ZooKeeper(/hbase/meta-region-server)中獲取hbase:meta的位置(HRegionServer的位置)，緩存該位置信息。

　　從HRegionServer中查詢用戶Table對(duì)應(yīng)請(qǐng)求的RowKey所在的HRegionServer，緩存該位置信息。

　　從查詢到HRegionServer中讀取Row。

　　從這個(gè)過(guò)程中，我們發(fā)現(xiàn)客戶會(huì)緩存這些位置信息，然而第二步它只是緩存當(dāng)前RowKey對(duì)應(yīng)的HRegion的位置，因而如果下一個(gè)要查的RowKey不在同一個(gè)HRegion中，則需要繼續(xù)查詢hbase:meta所在的HRegion，然而隨著時(shí)間的推移，客戶端緩存的位置信息越來(lái)越多，以至于不需要再次查找hbase:meta Table的信息，除非某個(gè)HRegion因?yàn)殄礄C(jī)或Split被移動(dòng)，此時(shí)需要重新查詢并且更新緩存。

關(guān)于hbase各組件的作用是什么就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到。