CDH4,lily,hbase solr indexer增量更新失敗的一種情形解決辦法

運(yùn)維監(jiān)控到消息無(wú)法增量更新索引。經(jīng)定位發(fā)現(xiàn)hbase solr indexer未生效。

以前測(cè)試環(huán)境下通常是因?yàn)檫@個(gè)hbase-solr-indexer進(jìn)程當(dāng)?shù)袅嗽斐傻?。但是這一次不一樣。

檢查sep的impl的源碼，發(fā)現(xiàn)它是偽裝了一個(gè)HbaseRegionServer，把自己作為slave，然后借助HBase的replication機(jī)制，讓log復(fù)制過(guò)來(lái)。它再通過(guò)write ahead log獲取增量更新內(nèi)容。

猜測(cè)是這種機(jī)制被斷掉了。檢查zookeeper

ls /ngdata/sep/hbase-slave/Indexer_morphlines_Test300/rs

發(fā)現(xiàn)這個(gè)記錄

[datanode10.bjpuc1.quanshi.com,50475,1428377032454]

檢查hbase

ls /hbase/rs

[datanode8.app.company.com,60020,1427557044871,datanode3.app.company.com,60020,1428140476654, datanode6.app.company.com,60020,1427557034896,datanode10.app.company.com,60020,1427557054164,datanode1.app.company.com,60020,1427556940973,datanode7.app.company.com,60020,1427557039934,datanode4.app.company.com,60020,1427557024791, datanode9.app.company.com,60020,1427557048966,datanode2.app.company.com,60020,1427557014498,datanode11.app.company.com,60020,1427557059497,datanode5.app.company.com,60020,1427557029513]

 

 

因此懷疑兩者的同步出現(xiàn)問(wèn)題。于是讓君福幫助重建了一次增量更新配置。辦法是刪除原來(lái)的hbase-solr-indexer的配置，再重新add-indexer。

ls/ngdata/sep/hbase-slave/Indexer_morphlines_Test300/rs

[datanode10.app.company.com,2074,1428455398626]

問(wèn)題得到解決。