如何巡檢HBase

HBase是使用HDFS作為底層存儲(chǔ)的NoSQL數(shù)據(jù)庫(kù)，提供了滿足實(shí)時(shí)性和隨即讀寫功能的數(shù)據(jù)庫(kù)服務(wù)。

每日早晚巡檢HBase服務(wù)，檢查各集群的HMaster和RegionServer狀態(tài)，是否事務(wù)積壓等問(wèn)題。

1.1 查看Requests Per Second和Num.Regions

若為圖中所示為0，則需要登錄主機(jī)查看，通常這種情況會(huì)發(fā)生在重啟節(jié)點(diǎn)主機(jī)后發(fā)生。

1.2 查看備用HMaster

每個(gè)庫(kù)正常來(lái)說(shuō)都有3個(gè)主節(jié)點(diǎn)，一個(gè)正在跑，兩個(gè)備用，如圖所示。

1.3 查看Software Attributes

圖中所示，比較重要的是兩個(gè)標(biāo)出部分：

1：代表著本庫(kù)的zookeeper節(jié)點(diǎn)，如果出現(xiàn)異常，總數(shù)會(huì)不正常的

2：代表著本庫(kù)的平均region數(shù)，理論超過(guò)300就要進(jìn)行合并操作的，但這個(gè)是根據(jù)業(yè)務(wù)的需求進(jìn)行操作，業(yè)務(wù)側(cè)提出數(shù)據(jù)庫(kù)卡頓了，再進(jìn)行合并操作即可。

1.4 查看Dead Region Servers

此項(xiàng)是以庫(kù)為單位，登錄每個(gè)庫(kù)的HBase UI，若當(dāng)前庫(kù)內(nèi)有HBaseregionserver宕掉的節(jié)點(diǎn)，則頁(yè)面上會(huì)顯示出如下情況：

出現(xiàn)這種情況，則說(shuō)明當(dāng)前庫(kù)有非正常節(jié)點(diǎn)，可以嘗試登陸該故障節(jié)點(diǎn)，查看故障原因（如HBase進(jìn)程消失，主機(jī)意外重啟，主機(jī)死機(jī)等）

2.1 HBase HRegion 最大化壓縮

hbase.hregion.majorcompaction：所有 HStore-

Files“最大化”壓縮之間的時(shí)間，要禁用自動(dòng)的最大化壓縮，請(qǐng)將此值設(shè)置為 0。

2.2 RegionServer 小型壓縮線程計(jì)數(shù)

hbase.regionserver.thread.compaction.small：

regionserver做Minor Compaction時(shí)線程池里線程數(shù)目,可以設(shè)置為5

2.3 HBase Region 分割限制

hbase.regionserver.regionSplitLimit：控制最大的region數(shù)量,超過(guò)則不可以進(jìn)行split操作，默認(rèn)是2147483647，設(shè)置1可以禁止自動(dòng)的split，通過(guò)人工， 或者寫腳本在集群空閑時(shí)執(zhí)行。

2.4 HBase 文件最大大小

hbase.hregion.max.filesize：默認(rèn)是10G， 如果任何一個(gè)column familiy里的StoreFile超過(guò)這個(gè)值, 那么這個(gè)Region會(huì)一分為二，因?yàn)閞egion分 裂會(huì)有短暫的region下線時(shí)間(通常在5s以內(nèi))，為減少對(duì)業(yè)務(wù)端的影響，建議手動(dòng)定時(shí)分裂，可以設(shè)置大些。

2.5 HBase 客戶端寫入緩沖

hbase.client.write.buffer：客戶端寫buffer，設(shè)置autoFlush為false時(shí)，當(dāng)客戶端寫滿buffer才flush 默認(rèn)為2M，寫緩存大小，推薦設(shè)置為5M，單位是字節(jié)，當(dāng)然越大占用的內(nèi)存越多。

2.6 HBase Region Server 處理程序計(jì)數(shù)

hbase.regionserver.handler.count：該設(shè)置決定了處理RPC的線程數(shù)量，默認(rèn)值是30，通?？梢哉{(diào)大，但不是越大越好，設(shè)置過(guò)大會(huì)占用過(guò)多的內(nèi)存， 導(dǎo)致頻繁的gc，或者出現(xiàn)oom。

2.7 HFile 塊緩存大小

hfile.block.cache.size：默認(rèn)值0.25，regionser-

ver的block cache的內(nèi)存大小限制，在偏向讀的業(yè)務(wù)中，可以適當(dāng)調(diào)大該值，需要注意的是 hbase.regionserver.global.memstore.upperLimit的值和hfile.block.cache.size的值之和必須小于0.8。

2.8 RegionServer 中所有 Memstore 的最大大小

hbase.regionserver.global.memstore.upperLimit,hbase.regionserver.global.memstore.size：默認(rèn)值0.4 這個(gè)參數(shù)的作用是防止內(nèi)存占用過(guò)大，當(dāng)ReigonServer內(nèi)所有region的memstores所占用內(nèi)存總和達(dá)到heap的 40%時(shí)，HBase會(huì)強(qiáng)制block所有的更新并flush這些region以釋放所有memstore占用的內(nèi)存。

2.9 Memstore 刷新的低水位線

hbase.regionserver.global.memstore.lowerLimit,hbase.regionserver.global.memstore.size.lower.limit：默認(rèn)值0.35 同upperLimit，只不過(guò)lowerLimit在所有region的memstores所占用內(nèi)存達(dá)到Heap的35%時(shí)，不flush所有的 memstore。它會(huì)找一個(gè)memstore內(nèi)存占用最大的region，做個(gè)別flush，此時(shí)寫更新還是會(huì)被block。lowerLimit 算是一個(gè)在所有region強(qiáng)制flush導(dǎo)致性能降低前的補(bǔ)救措施。在日志中，表現(xiàn)為 “** Flush thread woke up with memory above low water

2.10 HBase Memstore 刷新大小

hbase.hregion.memstore.flush.size：如 memst-

ore 大小超過(guò)此值（字節(jié)數(shù)），Memstore 將刷新到磁盤。這個(gè)參數(shù)的作用是當(dāng)單個(gè)Region內(nèi)所有的 memstore大小總和超過(guò)指定值時(shí)，flush該region的所有memstore。RegionServer的flush是通過(guò)將請(qǐng)求添加一個(gè) 隊(duì)列，模擬生產(chǎn)消費(fèi)模式來(lái)異步處理的。那這里就有一個(gè)問(wèn)題，當(dāng)隊(duì)列來(lái)不及消費(fèi)，產(chǎn)生大量積壓請(qǐng)求時(shí)，可能會(huì)導(dǎo)致內(nèi)存陡增，最壞的情況是觸發(fā)OOM。