開源大數(shù)據(jù)索引項目hive-solr的示例分析

這篇文章主要介紹開源大數(shù)據(jù)索引項目hive-solr的示例分析，文中介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們一定要看完！

最新更新： 
（1）添加了對solrcloud集群的支持 
（2）修復(fù)了在反序列時對于hive中null列和空值的處理bug 
（3）優(yōu)化了在構(gòu)建索引時對于null值和空值的忽略 

一些測試： 

數(shù)據(jù)量：約一千二百萬，8個字段，其中一個是大文本，2個是分詞字段，索引前數(shù)據(jù)體積約20G 

索引總耗時：約15分鐘 

索引后體積：每個shard約6G，共約18G 

Hive：限制最大并發(fā)map數(shù)為30個，怕影響Hbase服務(wù)，注意使用Hive建完索引后，需要手動commit一次，使內(nèi)存索引flush到磁盤上 

批處理：每個map里面10萬數(shù)據(jù)，批量處理提交一次，不commit，這個值根據(jù)情況設(shè)定，太大了容易solrcloud容易丟數(shù)據(jù)，太小了會影響速度 

solrcloud集群版本為5.1使用3臺機器，每臺一個shard，無副本，jetty的內(nèi)存給了10G 

CPU：24核，注意大文本分詞字段非常耗cpu 

solr的jvm參數(shù)調(diào)整： 
（1） 調(diào)大 SurvivorRatio 區(qū)占比，降低survivor區(qū)的內(nèi)存空間 
（2）調(diào)小NewRatio區(qū)占比，增大新生代的內(nèi)存空間 
（3）調(diào)大永久代MaxPermSize內(nèi)存至256M 
（4）調(diào)整MaxTenuringThreshold=0 ，使大對象加速進(jìn)入老年代，避免在survivor和eden區(qū)來回拷貝，使用YGC次數(shù)變多 
其他參數(shù)還是默認(rèn)配置 

solr服務(wù)端配置： 
（1）關(guān)閉自動commit 
（2）設(shè)置ramBufferSizeMB為1000 ，約等1G 
（3）設(shè)置maxBufferedDocs等-1，禁用maxBufferDocs 
（4）設(shè)置mergeFactor為100 

以上是“開源大數(shù)據(jù)索引項目hive-solr的示例分析”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對大家有幫助，更多相關(guān)知識，歡迎關(guān)注億速云行業(yè)資訊頻道！