如何用Lucene.net全文檢索實(shí)現(xiàn)仿造百度

本篇文章為大家展示了如何用Lucene.net全文檢索實(shí)現(xiàn)仿造百度，內(nèi)容簡(jiǎn)明扼要并且容易理解，絕對(duì)能使你眼前一亮，通過這篇文章的詳細(xì)介紹希望你能有所收獲。

Lucene.Net

Lucene.net是Lucene的.net移植版本，是一個(gè)開源的全文檢索引擎開發(fā)包，即它不是一個(gè)完整的全文檢索引擎，而是一個(gè)全文檢索引擎的架構(gòu)，是一個(gè)Library.你也可以把它理解為一個(gè)將索引,搜索功能封裝的很好的一套簡(jiǎn)單易用的API(提供了完整的查詢引擎和索引引擎)。利用這套API你可以做很多有關(guān)搜索的事情,而且很方便.。開發(fā)人員可以基于Lucene.net實(shí)現(xiàn)全文檢索的功能。

注意：Lucene.Net只能對(duì)文本信息進(jìn)行檢索。如果不是文本信息，要轉(zhuǎn)換為文本信息，比如要檢索Excel文件，就要用NPOI把Excel讀取成字符串，然后把字符串扔給Lucene.Net。Lucene.Net會(huì)把扔給它的文本切詞保存，加快檢索速度。

更多概念性的知識(shí)可以參考這篇博文:http://blog.csdn.net/xiucool/archive/2008/11/28/3397182.aspx

這個(gè)小Demo樣例展示：

ok,接下來就細(xì)細(xì)詳解下士怎樣一步一步實(shí)現(xiàn)這個(gè)效果的。

Lucene.Net 核心——分詞算法（Analyzer）

學(xué)習(xí)Lucune.Net，分詞是核心。當(dāng)然最理想狀態(tài)下是能自己擴(kuò)展分詞，但這要很高的算法要求。Lucene.Net中不同的分詞算法就是不同的類。所有分詞算法類都從Analyzer類繼承，不同的分詞算法有不同的優(yōu)缺點(diǎn)。

內(nèi)置的StandardAnalyzer是將英文按照空格、標(biāo)點(diǎn)符號(hào)等進(jìn)行分詞，將中文按照單個(gè)字進(jìn)行分詞，一個(gè)漢字算一個(gè)詞

Analyzer analyzer = new StandardAnalyzer();  TokenStream tokenStream = analyzer.TokenStream("",new StringReader("Hello Lucene.Net,我1愛1你China"));  Lucene.Net.Analysis.Token token = null;  while ((token = tokenStream.Next()) != null)  {      Console.WriteLine(token.TermText());  }

分詞后結(jié)果：

二元分詞算法，每?jī)蓚€(gè)漢字算一個(gè)單詞，“我愛你China”會(huì)分詞為“我愛 愛你 china”，點(diǎn)擊查看二元分詞算法CJKAnalyzer。

Analyzer analyzer = new CJKAnalyzer();  TokenStream tokenStream = analyzer.TokenStream("", new StringReader("我愛你中國(guó)China中華人名共和國(guó)"));  Lucene.Net.Analysis.Token token = null;  while ((token = tokenStream.Next()) != null)  {      Response.Write(token.TermText()+"<br/>");  }

這時(shí)，你肯定在想，上面沒有一個(gè)好用的，二元分詞算法亂槍打鳥，很想自己擴(kuò)展Analyzer，但并不是算法上的專業(yè)人士。怎么辦？

天降圣器，盤古分詞，點(diǎn)擊下載。

Lucene.Net核心類簡(jiǎn)介（一）

Directory表示索引文件(Lucene.net用來保存用戶扔過來的數(shù)據(jù)的地方)保存的地方，是抽象類，兩個(gè)子類FSDirectory（文件中）、RAMDirectory （內(nèi)存中）。

IndexReader對(duì)索引進(jìn)行讀取的類，對(duì)IndexWriter進(jìn)行寫的類。

IndexReader的靜態(tài)方法bool IndexExists(Directory directory)判斷目錄directory是否是一個(gè)索引目錄。IndexWriter的bool IsLocked(Directory directory) 判斷目錄是否鎖定，在對(duì)目錄寫之前會(huì)先把目錄鎖定。兩個(gè)IndexWriter沒法同時(shí)寫一個(gè)索引文件。IndexWriter在進(jìn)行寫操作的時(shí)候會(huì)自動(dòng)加鎖，close的時(shí)候會(huì)自動(dòng)解鎖。IndexWriter.Unlock方法手動(dòng)解鎖（比如還沒來得及close IndexWriter 程序就崩潰了，可能造成一直被鎖定）。

創(chuàng)建索引庫操作：

構(gòu)造函數(shù)：IndexWriter(Directory dir, Analyzer a, bool create, MaxFieldLength mfl)因?yàn)镮ndexWriter把輸入寫入索引的時(shí)候，Lucene.net是把寫入的文件用指定的分詞器將文章分詞（這樣檢索的時(shí)候才能查的快），然后將詞放入索引文件。

void AddDocument(Document doc)，向索引中添加文檔（Insert）。Document類代表要索引的文檔（文章），最重要的方法Add(Field field)，向文檔中添加字段。Document是一片文檔，F(xiàn)ield是字段（屬性）。Document相當(dāng)于一條記錄，F(xiàn)ield相當(dāng)于字段。

Field類的構(gòu)造函數(shù) Field(string name, string value, Field.Store store, Field.Index index, Field.TermVector termVector)： name表示字段名； value表示字段值； store表示是否存儲(chǔ)value值，可選值 Field.Store.YES存儲(chǔ)， Field.Store.NO不存儲(chǔ)，F(xiàn)ield.Store.COMPRESS壓縮存儲(chǔ)；默認(rèn)只保存分詞以后的一堆詞，而不保存分詞之前的內(nèi)容，搜索的時(shí)候無法根據(jù)分詞后的東西還原原文，因此如果要顯示原文（比如文章正文）則需要設(shè)置存儲(chǔ)。 index表示如何創(chuàng)建索引，可選值Field.Index. NOT_ANALYZED ，不創(chuàng)建索引，F(xiàn)ield.Index. ANALYZED，創(chuàng)建索引；創(chuàng)建索引的字段才可以比較好的檢索。是否碎尸萬段！是否需要按照這個(gè)字段進(jìn)行“全文檢索”。 termVector表示如何保存索引詞之間的距離?！氨本g迎你們大家”，索引中是如何保存“北京”和“大家”之間“隔多少單詞”。方便只檢索在一定距離之內(nèi)的詞。

private void CreateIndex()          {              //索引庫存放在這個(gè)文件夾里              string indexPath = ConfigurationManager.AppSettings["pathIndex"];              //Directory表示索引文件保存的地方，是抽象類，兩個(gè)子類FSDirectory表示文件中，RAMDirectory 表示存儲(chǔ)在內(nèi)存中              FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NativeFSLockFactory());              //判斷目錄directory是否是一個(gè)索引目錄。              bool isUpdate = IndexReader.IndexExists(directory);              logger.Debug("索引庫存在狀態(tài):"+isUpdate);              if (isUpdate)              {                  if (IndexWriter.IsLocked(directory))                  {                      IndexWriter.Unlock(directory);                  }              }              //第三個(gè)參數(shù)為是否創(chuàng)建索引文件夾,Bool Create,如果為True，則新創(chuàng)建的索引會(huì)覆蓋掉原來的索引文件，反之，則不必創(chuàng)建,更新即可。              IndexWriter write = new IndexWriter(directory, new PanGuAnalyzer(), !isUpdate, IndexWriter.MaxFieldLength.UNLIMITED);               WebClient wc = new WebClient();              //編碼，防止亂碼              wc.Encoding = Encoding.UTF8;              int maxID;              try             {                  //讀取rss，獲得第一個(gè)item中的鏈接的編號(hào)部分就是最大的帖子編號(hào)                  maxID = GetMaxID();              }              catch (WebException webEx)              {                  logger.Error("獲得最大帖子號(hào)出錯(cuò)",webEx);                  return;                                }              for (int i = 1; i <= maxID; i++)              {                  try                 {                      string url = "http://localhost:8080/showtopic-" + i + ".aspx";                      logger.Debug("開始下載:"+url);                      string html = wc.DownloadString(url);                      HTMLDocumentClass doc = new HTMLDocumentClass();                       doc.designMode = "on";//不讓解析引擎嘗試去執(zhí)行                      doc.IHTMLDocument2_write(html);                      doc.close();                       string title = doc.title;                      string body = doc.body.innerText;                      //為避免重復(fù)索引，先輸出number=i的記錄，在重新添加                      write.DeleteDocuments(new Term("number", i.ToString()));                       Document document = new Document();                      //Field為字段，只有對(duì)全文檢索的字段才分詞，F(xiàn)ield.Store是否存儲(chǔ)                      document.Add(new Field("number", i.ToString(), Field.Store.YES, Field.Index.NOT_ANALYZED));                      document.Add(new Field("title", title, Field.Store.YES, Field.Index.NOT_ANALYZED));                      document.Add(new Field("body", body, Field.Store.YES, Field.Index.ANALYZED, Field.TermVector.WITH_POSITIONS_OFFSETS));                      write.AddDocument(document);                      logger.Debug("索引" + i.ToString() + "完畢");                  }                  catch (WebException webEx)                  {                       logger.Error("下載"+i.ToString()+"失敗",webEx);                  }               }              write.Close();              directory.Close();              logger.Debug("全部索引完畢");          }          //取最大帖子號(hào)          private int GetMaxID()          {              XDocument xdoc = XDocument.Load("Http://localhost:8080/tools/rss.aspx");              XElement channel = xdoc.Root.Element("channel");              XElement fitstItem = channel.Elements("item").First();              XElement link = fitstItem.Element("link");              Match match = Regex.Match(link.Value, @"http://localhost:8080/showtopic-(\d+)\.aspx");              string id = match.Groups[1].Value;              return Convert.ToInt32(id);          }

這樣就創(chuàng)建了索引庫，利用WebClient爬去所有網(wǎng)頁的內(nèi)容，這兒需要你添加引用Microsoft mshtml組件，MSHTML是微軟公司的一個(gè)COM組件，該組件封裝了HTML語言中的所有元素及其屬性，通過其提供的標(biāo)準(zhǔn)接口，可以訪問指定網(wǎng)頁的所有元素。

當(dāng)然，創(chuàng)建索引庫最好定時(shí)給我們自動(dòng)創(chuàng)建，類似于Windows計(jì)劃任務(wù)。

在這兒你可以了解Quartz.Net

首先添加對(duì)其（我這個(gè)版本有兩個(gè)，一個(gè)是Quartz.dll,還有一個(gè)是Common.Logging）的引用，貌似兩個(gè)缺一不可，否則會(huì)報(bào)錯(cuò)，類似于文件路徑錯(cuò)誤。

在Global里配置如下：

public class Global : System.Web.HttpApplication   {       private static ILog logger = LogManager.GetLogger(typeof(Global));       private IScheduler sched;       protected void Application_Start(object sender, EventArgs e)       {           //控制臺(tái)就放在Main           logger.Debug("Application_Start");           log4net.Config.XmlConfigurator.Configure();           //從配置中讀取任務(wù)啟動(dòng)時(shí)間           int indexStartHour = Convert.ToInt32(ConfigurationManager.AppSettings["IndexStartHour"]);           int indexStartMin = Convert.ToInt32(ConfigurationManager.AppSettings["IndexStartMin"]);           ISchedulerFactory sf = new StdSchedulerFactory();           sched = sf.GetScheduler();           JobDetail job = new JobDetail("job1", "group1", typeof(IndexJob));//IndexJob為實(shí)現(xiàn)了IJob接口的類           Trigger trigger = TriggerUtils.MakeDailyTrigger("tigger1", indexStartHour, indexStartMin);//每天10點(diǎn)3分執(zhí)行           trigger.JobName = "job1";           trigger.JobGroup = "group1";           trigger.Group = "group1";            sched.AddJob(job, true);           sched.ScheduleJob(trigger);           //IIS啟動(dòng)了就不會(huì)來了           sched.Start();       }       protected void Session_Start(object sender, EventArgs e)       {       }       protected void Application_BeginRequest(object sender, EventArgs e)       {       }       protected void Application_AuthenticateRequest(object sender, EventArgs e)       {       }       protected void Application_Error(object sender, EventArgs e)       {           logger.Debug("網(wǎng)絡(luò)出現(xiàn)未處理異常:",HttpContext.Current.Server.GetLastError());       }       protected void Session_End(object sender, EventArgs e)       {       }       protected void Application_End(object sender, EventArgs e)       {           logger.Debug("Application_End");           sched.Shutdown(true);       }   }

最后我們的Job去做任務(wù)，但需要實(shí)現(xiàn)IJob接口

public class IndexJob:IJob      {          private ILog logger = LogManager.GetLogger(typeof(IndexJob));          public void Execute(JobExecutionContext context)          {              try             {                  logger.Debug("索引開始");                  CreateIndex();                  logger.Debug("索引結(jié)束");              }              catch (Exception ex)              {                  logger.Debug("啟動(dòng)索引任務(wù)異常", ex);              }          }  }

Ok,我們的索引庫建立完了，接下來就是搜索了。

Lucene.Net核心類簡(jiǎn)介（二）

IndexSearcher是進(jìn)行搜索的類，構(gòu)造函數(shù)傳遞一個(gè)IndexReader。IndexSearcher的void Search(Query query, Filter filter, Collector results)方法用來搜索，Query是查詢條件， filter目前傳遞null， results是檢索結(jié)果，TopScoreDocCollector.create(1000, true)方法創(chuàng)建一個(gè)Collector，1000表示最多結(jié)果條數(shù)，Collector就是一個(gè)結(jié)果收集器。

Query有很多子類，PhraseQuery是一個(gè)子類。 PhraseQuery用來進(jìn)行多個(gè)關(guān)鍵詞的檢索，調(diào)用Add方法添加關(guān)鍵詞，query.Add(new Term("字段名", 關(guān)鍵詞))，PhraseQuery. SetSlop(int slop)用來設(shè)置關(guān)鍵詞之間的最大距離，默認(rèn)是0，設(shè)置了Slop以后哪怕文檔中兩個(gè)關(guān)鍵詞之間沒有緊挨著也能找到。 query.Add(new Term("字段名", 關(guān)鍵詞)) query.Add(new Term("字段名", 關(guān)鍵詞2)) 類似于：where 字段名 contains 關(guān)鍵詞 and 字段名 contais 關(guān)鍵詞。

調(diào)用TopScoreDocCollector的GetTotalHits()方法得到搜索結(jié)果條數(shù)，調(diào)用Hits的TopDocs TopDocs(int start, int howMany)得到一個(gè)范圍內(nèi)的結(jié)果（分頁），TopDocs的scoreDocs字段是結(jié)果ScoreDoc數(shù)組， ScoreDoc 的doc字段為L(zhǎng)ucene.Net為文檔分配的id(為降低內(nèi)存占用，只先返回文檔id)，根據(jù)這個(gè)id調(diào)用searcher的Doc方法就能拿到Document了（放進(jìn)去的是Document，取出來的也是Document）；調(diào)用doc.Get("字段名")可以得到文檔指定字段的值，注意只有Store.YES的字段才能得到，因?yàn)镾tore.NO的沒有保存全部?jī)?nèi)容，只保存了分割后的詞。

搜索的代碼：

查看盤古分詞文檔找到高亮顯示：

private string Preview(string body,string keyword)   {       PanGu.HighLight.SimpleHTMLFormatter simpleHTMLFormatter = new PanGu.HighLight.SimpleHTMLFormatter("<font color=\"Red\">","</font>");       PanGu.HighLight.Highlighter highlighter = new PanGu.HighLight.Highlighter(simpleHTMLFormatter, new Segment());       highlighter.FragmentSize = 100;       string bodyPreview = highlighter.GetBestFragment(keyword, body);       return bodyPreview;   }

因?yàn)槲覀冺撁鎰傔M(jìn)入需要加載熱詞，為了減輕服務(wù)端壓力，緩存的使用能使我們解決這一問題。

既然是熱詞，當(dāng)然是最近幾天搜索量最多的，故Sql語句需要考慮指定的時(shí)間之內(nèi)的搜索數(shù)量的排序。

public IEnumerable<Model.SearchSum> GetHotWords()          {               //緩存              var data=HttpRuntime.Cache["hotwords"];              if (data==null)              {                  IEnumerable<Model.SearchSum> hotWords = DoSelect();                  HttpRuntime.Cache.Insert("hotwords",hotWords,null,DateTime.Now.AddMilliseconds(30),TimeSpan.Zero );                  return hotWords;              }              return (IEnumerable<Model.SearchSum>)data;          }          private IEnumerable<Model.SearchSum> DoSelect()          {              DataTable dt = SqlHelper.ExecuteDataTable(@"  select top 5 Keyword,count(*) as searchcount  from keywords   where datediff(day,searchdatetime,getdate())<7  group by Keyword   order by count(*) desc ");              List<Model.SearchSum> list = new List<Model.SearchSum>();              if (dt!=null&&dt.Rows!=null&&dt.Rows.Count>0)              {                  foreach (DataRow row in dt.Rows)                  {                      Model.SearchSum oneModel=new Model.SearchSum ();                      oneModel.Keyword = Convert.ToString(row["keyword"]);                      oneModel.SearchCount = Convert.ToInt32(row["SearchCount"]);                      list.Add(oneModel);                  }              }              return list;          }

搜索建議，類似于Baidu搜索時(shí)下拉提示框，Jquery UI模擬，下面是獲取根據(jù)搜索數(shù)量最多的進(jìn)行排序，得到IEnumerable<Model.SearchSum>集合

 public IEnumerable<Model.SearchSum> GetSuggestion(string kw)          {              DataTable dt = SqlHelper.ExecuteDataTable(@"select top 5 Keyword,count(*) as searchcount  from keywords   where datediff(day,searchdatetime,getdate())<7  and keyword like @keyword  group by Keyword   order by count(*) desc",new SqlParameter("@keyword","%"+kw+"%"));              List<Model.SearchSum> list = new List<Model.SearchSum>();              if (dt != null && dt.Rows != null && dt.Rows.Count > 0)              {                  foreach (DataRow row in dt.Rows)                  {                      Model.SearchSum oneModel = new Model.SearchSum();                      oneModel.Keyword = Convert.ToString(row["keyword"]);                      oneModel.SearchCount = Convert.ToInt32(row["SearchCount"]);                      list.Add(oneModel);                  }              }              return list;          }

最關(guān)鍵的搜索代碼，詳見注釋和上面Lucene.Net核心類二：

protected void Page_Load(object sender, EventArgs e)   {       //加載熱詞        hotwordsRepeater.DataSource = new Dao.KeywordDao().GetHotWords();       hotwordsRepeater.DataBind();       kw = Request["kw"];       if (string.IsNullOrWhiteSpace(kw))       {           return;       }       //處理：將用戶的搜索記錄加入數(shù)據(jù)庫，方便統(tǒng)計(jì)熱詞       Model.SerachKeyword model = new Model.SerachKeyword();       model.Keyword = kw;       model.SearchDateTime = DateTime.Now;       model.ClinetAddress = Request.UserHostAddress;        new Dao.KeywordDao().Add(model);       //分頁控件       MyPage pager = new MyPage();       pager.TryParseCurrentPageIndex(Request["pagenum"]);       //超鏈接href屬性       pager.UrlFormat = "CreateIndex.aspx?pagenum={n}&kw=" + Server.UrlEncode(kw);              int startRowIndex = (pager.CurrentPageIndex - 1) * pager.PageSize;         int totalCount = -1;       List<SearchResult> list = DoSearch(startRowIndex,pager.PageSize,out totalCount);       pager.TotalCount = totalCount;       RenderToHTML = pager.RenderToHTML();       dataRepeater.DataSource = list;       dataRepeater.DataBind();   }    private List<SearchResult> DoSearch(int startRowIndex,int pageSize,out int totalCount)   {       string indexPath = "C:/Index";       FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NoLockFactory());       IndexReader reader = IndexReader.Open(directory, true);       //IndexSearcher是進(jìn)行搜索的類       IndexSearcher searcher = new IndexSearcher(reader);       PhraseQuery query = new PhraseQuery();              foreach (string word in CommonHelper.SplitWord(kw))       {           query.Add(new Term("body", word));       }       query.SetSlop(100);//相聚100以內(nèi)才算是查詢到       TopScoreDocCollector collector = TopScoreDocCollector.create(1024, true);//最大1024條記錄       searcher.Search(query, null, collector);       totalCount = collector.GetTotalHits();//返回總條數(shù)       ScoreDoc[] docs = collector.TopDocs(startRowIndex, pageSize).scoreDocs;//分頁,下標(biāo)應(yīng)該從0開始吧，0是第一條記錄       List<SearchResult> list = new List<SearchResult>();       for (int i = 0; i < docs.Length; i++)       {           int docID = docs[i].doc;//取文檔的編號(hào)，這個(gè)是主鍵，lucene.net分配           //檢索結(jié)果中只有文檔的id，如果要取Document，則需要Doc再去取           //降低內(nèi)容占用           Document doc = searcher.Doc(docID);           string number = doc.Get("number");           string title = doc.Get("title");           string body = doc.Get("body");            SearchResult searchResult = new SearchResult() { Number = number, Title = title, BodyPreview = Preview(body, kw) };           list.Add(searchResult);        }       return list;   }

Jquery UI模擬Baidu下拉提示和數(shù)據(jù)的綁定

<script type="text/javascript">       $(function () {           $("#txtKeyword").autocomplete(           {   source: "SearchSuggestion.ashx",               select: function (event, ui) { $("#txtKeyword").val(ui.item.value); $("#form1").submit(); }           });       });   </script>

<div align="center">          <input type="text" id="txtKeyword" name="kw" value='<%=kw %>'/>          <%-- <asp:Button ID="createIndexButton" runat="server" onclick="searchButton_Click"               Text="創(chuàng)建索引庫" />--%>          <input type="submit" name="searchButton" value="搜索" style="width: 91px" /><br />      </div>      <br />      <ul id="hotwordsUL">            <asp:Repeater ID="hotwordsRepeater" runat="server">              <ItemTemplate>                  <li><a href='CreateIndex.aspx?kw=<%#Eval("Keyword") %>'><%#Eval("Keyword") %></a></li>              </ItemTemplate>            </asp:Repeater>      </ul>      &nbsp;<br />          <asp:Repeater ID="dataRepeater" runat="server" EnableViewState="true">          <HeaderTemplate>              <ul>          </HeaderTemplate>          <ItemTemplate>              <li>                  <a href='http://localhost:8080/showtopic-<%#Eval("Number") %>.aspx'><%#Eval("Title") %></a>                  <br />                  <%#Eval("BodyPreview") %>                            </li>          </ItemTemplate>          <FooterTemplate>          </ul>          </FooterTemplate>      </asp:Repeater>      <br />      <div class="pager"><%=RenderToHTML%></div>

上述內(nèi)容就是如何用Lucene.net全文檢索實(shí)現(xiàn)仿造百度，你們學(xué)到知識(shí)或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備，歡迎關(guān)注億速云行業(yè)資訊頻道。