如何使用Hive集成Solr?

（一）Hive+Solr簡介 

Hive作為Hadoop生態(tài)系統(tǒng)里面離線的數(shù)據(jù)倉庫，可以非常方便的使用SQL的方式來離線分析海量的歷史數(shù)據(jù)，并根據(jù)分析的結(jié)果，來干一些其他的事情，如報表統(tǒng)計查詢等。 
Solr作為高性能的搜索服務(wù)器，能夠提供快速，強大的全文檢索功能。 

（二）為什么需要hive集成solr？ 

有時候，我們需要將hive的分析完的結(jié)果，存儲到solr里面進行全文檢索服務(wù)，比如以前我們有個業(yè)務(wù)，對我們電商網(wǎng)站的搜索日志使用hive分析完后 存儲到solr里面做報表查詢，因為里面涉及到搜索關(guān)鍵詞，這個字段是需要能分詞查詢和不分詞查詢的，通過分詞查詢可以查看改詞的相關(guān)的產(chǎn)品在某一段時間內(nèi)的一個走勢圖。 有時候，我們又需要將solr里面的數(shù)據(jù)加載到hive里面，使用sql完成一些join分析功能， 兩者之間優(yōu)劣互補，以更好的適應(yīng)我們的業(yè)務(wù)需求。當然網(wǎng)上已經(jīng)有一些hive集成solr的開源項目，但由于 版本比較舊，所以無法在新的版本里面運行，經(jīng)過散仙改造修補后的可以運行在最新的版本。 

（三）如何才能使hive集成solr？ 

所謂的集成，其實就是重寫hadoop的MR編程接口的一些組件而已。我們都知道MR的編程接口非常靈活，而且高度抽象，MR不僅僅可以從HDFS上加載 數(shù)據(jù)源，也可以從任何非HDFS的系統(tǒng)中加載數(shù)據(jù)，當然前提是我們需要自定義： 
InputFormat 
OutputFormat 
RecordReader 
RecordWriter 
InputSplit 
組件，雖然稍微麻煩了點，但從任何地方加載數(shù)據(jù)這件事確實可以做到，包括mysql，sqlserver，oracle，mongodb， solr，es，redis等等。 

上面說的是定制Hadoop的MR編程接口，在Hive里面除了上面的一些組件外，還需要額外定義SerDe組件和組裝StorageHandler，在hive里面 SerDe指的是 Serializer and Deserializer，也就是我們所說的序列化和反序列化，hive需要使用serde和fileinput來讀寫hive 表里面的一行行數(shù)據(jù)。 
讀的流程： 
HDFS files / every source -> InputFileFormat --> --> Deserializer --> Row object 
寫的流程： 
Row object --> Serializer --> --> OutputFileFormat --> HDFS files / every source 

（四）hive集成solr后能干什么？ 

（1）讀取solr數(shù)據(jù)，以hive的支持的SQL語法，能進行各種聚合，統(tǒng)計，分析，join等 
（2）生成solr索引，一句SQL，就能通過MR的方式給大規(guī)模數(shù)據(jù)構(gòu)建索引 

（五）如何安裝部署以及使用？ 
源碼在這里，不在粘貼了，已經(jīng)上傳github了，有需要的朋友可以使用 git clonehttps://github.com/qindongliang/hive-solr 后，修改少許pom文件后，執(zhí)行 
mvn clean package 
命令構(gòu)建生成jar包，并將此jar包拷貝至hive的lib目錄即可 

例子如下： 
（1）hive讀取solr數(shù)據(jù) 

建表： 

Sql代碼  

1. --存在表就刪除  

2. drop table  if exists solr;  

3.   

4. --創(chuàng)建一個外部表  

5. create external table solr (  

6.   --定義字段，這里面的字段需要與solr的字段一致  

7.   rowkey string,  

8.   sname string  

9.   

10. )  

11. --定義存儲的storehandler  

12. stored by "com.easy.hive.store.SolrStorageHandler"  

13. --配置solr屬性  

14. tblproperties('solr.url' = 'http://192.168.1.28:8983/solr/a',  

15.                     'solr.query' = '*:*',  

16.                     'solr.cursor.batch.size'='10000',  

17.                     'solr.primary_key'='rowkey'  

18.                        );  

19. 執(zhí)行bin/hive 命令，進行hive的命令行終端：  

20.   

21. --查詢所有數(shù)據(jù)  

22. select * from solr limit 5;  

23. --查詢指定字段  

24. select rowkey from solr;  

25. --以mr的方式聚合統(tǒng)計solr數(shù)據(jù)  

26. select sname ,count(*) as c from solr group by sname  order by c desc  

（2）使用hive給solr構(gòu)建索引的例子 

首先構(gòu)建數(shù)據(jù)源表: 

Sql代碼  

1. --如果存在就刪除  

2. drop table if exists index_source;  

3.   

4. --構(gòu)建一個數(shù)據(jù)表  

5. CREATE TABLE index_source(id string, yname string,sname string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;  

6.   

7. --向數(shù)據(jù)源里面導(dǎo)入本地數(shù)據(jù)  

8. load  data local inpath '/ROOT/server/hive/test_solr' into table index_source;  

9. 其次，構(gòu)建solr的關(guān)聯(lián)表：  

10.   

11. --刪除已經(jīng)存在的表  

12. drop table  if exists index_solr;  

13.   

14. --創(chuàng)建關(guān)聯(lián)solr表  

15. create external table index_solr (  

16.   id string,  

17.   yname string,  

18.   sname string  

19. )   

20. --定義存儲引擎  

21.  stored by "com.easy.hive.store.SolrStorageHandler"  

22. --設(shè)置solr服務(wù)屬性  

23. tblproperties('solr.url' = 'http://192.168.1.28:8983/solr/b',  

24.                     'solr.query' = '*:*',  

25.                     'solr.cursor.batch.size'='10000',  

26.                     'solr.primary_key'='id'  

27.                        );  

最后，執(zhí)行下面的sql命令，即可給數(shù)據(jù)源中的數(shù)據(jù)，構(gòu)建solr索引： 

Sql代碼  

1. --注冊hive-solr的jar包，否則MR方式運行的時候，將不能正常啟動  

2. add jar /ROOT/server/hive/lib/hive-solr.jar;  

3. --執(zhí)行插入命令  

4. INSERT OVERWRITE TABLE index_solr SELECT * FROM  index_source ;   

5. --執(zhí)行成功之后，即可在solr的終端界面查看，也可以再hive里面執(zhí)行下面的solr查詢  

6. select * from index_solr limit 10 ;  

（六）他們還能其他的框架集成么？ 

當然，作為開源獨立的框架，我們可以進行各種組合， hive也可以和elasticsearch進行集成，也可以跟mongodb集成， solr也可以跟spark集成，也可以跟pig集成,但都需要我們自定義相關(guān)的組件才行,思路大致與這個項目的思路一致。 

（七）本次測試通過的基礎(chǔ)環(huán)境 

Apache Hadoop2.7.1 
Apache Hive1.2.1 
Apache Solr5.1.0 

（八）感謝并參考的資料： 

https://github.com/mongodb/mongo-hadoop/tree/master/hive/src/main/java/com/mongodb/hadoop/hive 
https://github.com/lucidworks/hive-solr 
https://github.com/chimpler/hive-solr 
https://cwiki.apache.org/confluence/display/Hive/DeveloperGuide#DeveloperGuide-HowtoWriteYourOwnSerDe