使用ElasticSearch，Kibana，ASP.NET Core和Docker可視化數(shù)據(jù)

想要輕松地通過許多不同的方式查詢數(shù)據(jù)，甚至是從未預料到的方式？想要以多種方式可視化日志？同時支持基于時間、文本和其他類型的即時過濾器？

借助于 Elastic stack 的卓越性能和可擴展方式的優(yōu)點，我們將通過兩個示例輕松實現(xiàn)。

本文由 DNC Magazine for Developers and Architects 發(fā)布。 從這里下載此雜志[PDF] 或 免費訂閱本雜志 下載所有以前和當前的版本版本。

在這篇文章中，我將介紹流行的搜索引擎 Elasticsearch，其配套的可視化應用 Kibana，并展示如何對.NET核心可以輕松地與 Elastic stack 整合在一塊。

Elasticsearch和.Net Core

我們將開始探索 Elasticsearch 的 REST API ，通過索引和查詢某些數(shù)據(jù)。接著，我們將使用Elasticsearch官方的 .Net API 完成類似的練習。一旦熟悉 Elasticsearch 及其 API 后，我們將使用 .Net Core 創(chuàng)建一個日志模塊，并將數(shù)據(jù)發(fā)送到 Elasticsearch 。Kibana緊隨其中，以有趣的方式可視化 Elasticsearch 的索引數(shù)據(jù)。
我迫切希望你會認為這篇文章十分有趣，并且想要了解更多關于Elastic的強大之處。

本文假設您已經了解 C＃和 REST API 的基本知識。使用 Visual Studio，Postman 和 Docker 等工具，但您可以輕松使用 VS Code 和 Fiddler 等替代方案。

Elasticsearch - 簡介

Elasticsearch 作為核心的部分，是一個具有強大索引功能的文檔存儲庫，并且可以通過 REST API 來搜索數(shù)據(jù)。它使用 Java 編寫，基于 Apache Lucene，盡管這些細節(jié)隱藏在 API 中。
通過被索引的字段，可以用許多不同的聚合方式找到任何被存儲(索引)的文檔。
但是，ElasticSearch不僅僅只提供對這些被索引文檔的強大搜索功能。
快速、分布式、水平擴展，支持實時文檔存儲和分析，支持數(shù)百臺服務器和 PB 級索引數(shù)據(jù)。同時作為 Elastic stack (aka ELK) 的核心，提供了諸如 LogStash、Kibana 和更多的強大應用。
Kibana 是 Elasticsearch 中專門提供強有力的可視化查詢Web應用程序。使用Kibana，能非常簡單地為 Elasticsearch 中索引的數(shù)據(jù)創(chuàng)建查詢、圖表和儀表盤。
Elasticsearch開放了一個 REST API，你會發(fā)現(xiàn)許多文檔示例是 HTTP 調用，你可以嘗試使用 curl 或 postman 等工具。當然，這個 API 的客戶端已經用許多不同的語言編寫，包括.Net、Java、Python、Ruby和JavaScript等。
如果你想閱讀更多，Elasticsearch 官方網站 可能是最好的地方。

Docker是在本地運行的最簡方式

在這篇文章中，我們需要先連接到一個 Elasticsearch （和后面的Kibana）的服務器。如果您已經有一個在本地運行或可以使用的服務器，那很好。否則需要先搭建一個服務器。
您可以選擇在您的本地機器或可以使用的 VM 或服務器中下載和安裝 Elasticsearch 和 Kibana 。不過，建議您使用最簡單最純粹的方式，使用Docker 搭建 Elasticsearch 和 Kibana 。
您可以直接運行以下命令，獲取包含Elasticsearch和Kibana的容器。

docker run -it --rm -p 9200:9200 -p 5601:5601 --name esk nshou/elasticsearch-kibana

• -it 表示以交互模式啟動容器，并附加到終端。

• --rm 表示從終端退出后，容器將被移除。

• -p 將容器中的端口映射到主機中的端口

• --name 給容器一個名稱，當您不使用的情況下可以用 --rm 手動停止/刪除

• nshou/elasticsearch-kibana 是 Docker Hub中的一個鏡像的名稱，已經有人幫你準備好了Elasticsearch和Kibana

• 如果你喜歡在后臺運行的話，你可以使用參數(shù)-d 代替 --it --rm，并且手動停止/刪除容器。

在同一個容器中運行多個應用程序，就像我們現(xiàn)在這種做法，非常適用本文，但不是推薦用于生產容器！

您應該意識到，一旦你刪除容器，你的數(shù)據(jù)就會消失（一旦你使用-rm選項就刪除它了）。雖然有利于本地實驗，但在實際環(huán)境中，如果您不想丟失數(shù)據(jù)，請參照 "data container" 模式。

Docker是一個很棒的工具，我鼓勵你更多地了解它，特別是如果你想做更重要的事情，而不僅僅是跟隨本文，在本地快速搭建 Elasticsearch 服務器。在之前的文章 Building DockNetFiddle using Docker and .NET Core 中已經對 .NET Core 搭配 Docker 有很好的介紹。

只需打開 http://localhost:9200 和 http://localhost:5600 ，檢查Elasticsearch 和 Kibana 是否都可以使用。（如果您使用docker toolbox，請使用托管Docker的虛擬機ip替換localhost，您可以在命令行中運行 docker-machine env default ）。

在docker中運行 Elasticsearch

kibana也準備好了

在 Elasticsearch 中索引和查詢

在我們開始編寫任何 .Net 代碼之前，我們先了解一下一些基本知識。先在 Elasticsearch 索引一些文檔（類似于存到數(shù)據(jù)庫），以便我們對它們運行不同的查詢。

在這里，我將使用Postman向我們的 Elasticsearch 服務器發(fā)送 HTTP 請求，但您可以使用任何其他類似的工具，如 Fiddler或 curl 。

我們要做的第一件事是請求 Elasticsearch 創(chuàng)建一個新的索引 (譯者語:類似創(chuàng)建一個表) 并索引一些文檔 (譯者語:類似于在數(shù)據(jù)中插入數(shù)據(jù)) 。這類似于將數(shù)據(jù)存儲在表/集合中，主要區(qū)別（和目的）是讓 Elasticsearch 集群 （這里只是一個節(jié)點） 可以分析和搜索文檔數(shù)據(jù)。
被索引的文檔在 Elasticsearch 中以索引和類型進行組織。以往，被拿來和數(shù)據(jù)庫表做對比，往往會令人困惑。如這篇文章所述，索引由Lucene處理，在分布式跨 分片 中，與類型緊密地聯(lián)系在一起。
發(fā)送以下兩個請求以創(chuàng)建索引，并在該索引中插入文檔 (請記住 toolbox，如果使用docker ，請使用托管Docker的虛擬機ip而不是localhost) :

• 創(chuàng)建一個名為 "default" 的新索引。

PUT localhost:9200/default

• 在 "default" 索引中索引文檔。請注意，我們需要知道我們存儲哪種類型的文檔（"product"）和該文檔的ID (如 1，盡管您可以使用任何值，只要它是唯一的)

PUT localhost:9200/default/product/1
{ 
    "name": "Apple MacBook Pro",
    "description": "Latest MacBook Pro 13",
    "tags": ["laptops", "mac"]
}

創(chuàng)建一個新索引

索引新文檔

在我們驗證搜索功能和查詢數(shù)據(jù)之前，再索引幾個 "product"。嘗試使用不同的 "tags"，如 "laptops"和 "laptops"，并記得使用不同的ids！
完成后，讓我們按名稱排序的搜索所有被索引的文檔。您可以使用查詢字符串或 GET/POST 同樣的內容，下面兩個請求是等效的：

GET http://localhost:9200/default/_search?q=*&sort=name.keyword:asc

POST http://localhost:9200/default/_search
{
  "query": { "match_all": {} },
  "sort": [
    { "name.keyword": "asc" }
  ]
}

讓我們嘗試一些更有趣的東西，例如搜索 "description" 字段中含有 "latest" ，同時 "tags" 字段中含有 "laptops" 的所有文檔：

POST http://localhost:9200/default/_search
{
  "query": { 
      "bool": {
      "must": [
        { "match": {"description": "latest"} },
        { "match": { "tags": "laptops" } }
      ]
    }
  },
  "sort": [
    { "name.keyword": "asc" }
  ]
}

搜索結果

Kibana 可視化數(shù)據(jù)

作為介紹的最后部分，我們將對 Kibana 的相關知識蜻蜓點水。
假設您在上一步已經索引了幾個文檔，通過訪問 http://localhost:5601 中打開在 Docker 的 Kibana 服務器。你會注意到，Kibana 要求你提供默認的索引模式，所以必須告訴它使用的 Elasticsearch 索引：

• 我們在上一節(jié)中創(chuàng)建了一個名為 "default" 的索引，因此可以使用 "default" 作為索引模式。

• 您還需要取消 "索引包含基于時間的事件 (Index contains time-based events ) " 選項，因為我們的文檔不包含任何時間字段。

在 Kibana 中添加索引模式

完成后，使用左側菜單打開 " 發(fā)現(xiàn) (Discover) " 頁面，您應該會看到上一節(jié)中插入的所有最新文檔。嘗試選擇不同的字段，在搜索欄中輸入相關的字段或某個過濾器：

在 kibana 中可視化數(shù)據(jù)

最后，我們創(chuàng)建一個餅圖，顯示 "laptops" 或 "desktops" 的銷量百分比。利用之前索引的數(shù)據(jù)，在左側菜單新建一個 "餅圖 (Pie Chart)" 。
您可以在 餅圖 (Pie Chart)的頁面上配置。將 " Count " 作為切片的大小，并在 " buckets " 部分中選擇 " split slices " 。將 " filters " 作為聚合類型，添加兩個過濾器：tags ="laptop" 和 tags ="desktoptops" 。單擊運行，您將看到類似于下圖：

在Kibana中創(chuàng)建餅圖

確保在搜索欄中輸入包含已過濾的項目的搜索關鍵詞，并注意到可視化圖形如何變化。

Elasticsearch .Net API

在簡要介紹Elasticsearch和Kibana之后，我們來看看我們如何用 .Net 應用程序索引和查詢我們的文檔。
您可能想知道為什么要這樣做，而不是直接使用 HTTP API 。我可以提供幾個理由，我相信你可以自己找?guī)讉€：

• 你不想直接暴露 Elasticsearch 集群

• Elasticsearch 可能不是您的主數(shù)據(jù)庫，您可能需要結合來自主數(shù)據(jù)庫的結果。

• 你希望包含來自存儲/生產服務器中的被索引文檔

首先需要注意的是打開 這個文檔 ,有兩個官方提供的 APIs : Elasticsearch.Net 和 NEST ，都支持 .Net Core 項目。

• Elasticsearch.Net 提供了一個用于與 Elasticsearch連接的低級API，提供構建/處理請求和響應的功能。它是 .Net 瘦客戶端。

• NEST 在 Elasticsearch.Net 之上，提供了更高級別的 API 。它可以將對象映射到請求/響應中，提供強大查詢功能，將索引名稱、文檔類型、字段類型用于構建與 HTTP REST API 的匹配查詢。
  

  
  

  Elasticsearch .Net API

由于我使用的是 NEST，所以第一步是創(chuàng)建一個新的 ASP .Net Core 應用程序，并使用 Package Manager 安裝NEST。

使用Nest開始索引數(shù)據(jù)

我們將在新的 ASP.Net Core 應用程序中完成之前手動發(fā)送 HTTP 請求的一些步驟。如果需要，請重新啟Docker 容器，從而清理數(shù)據(jù)；或通過 HTTP API 和 Postman 手動刪除文檔/索引。
我們首先為產品創(chuàng)建一個POCO模型：

public class Product
{
    public Guid Id { get; set; }
    public string Name { get; set; }
    public string Description { get; set; }
    public string[] Tags { get; set; }        
}

接下來，我們創(chuàng)建一個新的控制器 ProductController，它具有添加新的 "Product" 的方法和基于單個關鍵詞查找 "Product" 的方法：

[Route("api/[controller]")]
public class ProductController : Controller
{

    [HttpPost]
    public async Task< IActionResult > Create([FromBody]Product product)
    {
    }

    [HttpGet("find")]
    public async Task< IActionResult > Find(string term)
    {
    }
}

為了實現(xiàn)這些方法，我們需要先連接到 Elasticsearch。這里有一個 ElasticClient 連接的正確示范。 由于該類是線程安全的，所以推薦的方法是在應用程序中使用單例模式，而不是按請求創(chuàng)建新的連接。

為了簡潔起見，我現(xiàn)在將使用帶有硬編碼設置的私有靜態(tài)變量。在 .Net Core 中使用依賴注入配置框架，或查看 Github中 的代碼。

可以想到的是，至少需要提供被連接的 Elasticsearch 集群的URL。當然，還有其他可選參數(shù)，用于與您的群集進行身份驗證、設置超時、連接池等。

private static readonly ConnectionSettings connSettings =
    new ConnectionSettings(new Uri("http://localhost:9200/"));        
private static readonly ElasticClient elasticClient = 
    new ElasticClient(connSettings);

建立連接后，索引文檔只是簡單地使用 ElasticClient 的Index/IndexAsync 方法：

[Route("api/[controller]")]
public class ProductController : Controller
{

    [HttpPost]
    public async Task<IActionResult> Create([FromBody]Product product)
    {
    }

    [HttpGet("find")]
    public async Task<IActionResult> Find(string term)
    {
    }
}

很簡單，對吧？不幸的是，如果您向Postman發(fā)送以下請求，您將看到失敗。

POST http://localhost:65113/api/product
{ 
    "name": "Dell XPS 13",
    "description": "Latest Dell XPS 13",
    "tags": ["laptops", "windows"]
}

這是因為NEST無法確定在索引文檔時使用哪個索引！如果您想起手動使用 HTTP API 的做法，那么需要在URL指出文檔的索引、文檔的類型和ID，如 localhost:9200/default/product/1

NEST能夠推斷文檔的類型（使用類的名稱），還可以默認對字段進行索引（基于字段的類型），但需要一些索引名稱的幫助。您可以指定默認的索引名稱，以及特定類型的特定索引名稱。

connSettings = new ConnectionSettings(new Uri("http://192.168.99.100:9200/"))
    .DefaultIndex("default")
    //Optionally override the default index for specific types
    .MapDefaultTypeIndices(m => m
        .Add(typeof(Product), "default"));

進行這些更改后再試一次。您將看到 NEST 創(chuàng)建索引(如果尚未存在)，并將文檔編入索引。如果你切換到 Kibana，你也可以看到該文檔。需要注意的是:

• 從類的名稱推斷文檔類型，如 Product

• 在類中將Id屬性推斷為標識

• 將所有公開的屬性發(fā)送到 Elasticsearch

使用NEST索引的文檔

在我們查詢數(shù)據(jù)之前，重新考慮創(chuàng)建索引的方式。
如何創(chuàng)建索引?
現(xiàn)在我們得到一個事實，即如果這個索引不存在，也會被創(chuàng)建。然而映射字段的索引方式很重要，并直接定義了 Elasticsearch 如何索引和分析這些字段。這對于字符串字段尤其明顯，因為在 Elasticsearch v5 中提供了兩種不同字段類型的 "Text" 和 "Keyword"：

• Text 類型的字段將會被分析和分解成單詞，以便用于更高級的 Elasticsearch 搜索功能

• 另一方面，Keyword 字段將 "保持原樣" 而不進行分析，只能通過其精確值進行搜索。

您可以使用 NEST 索引映射屬性來生成POCO模型：

public class Product
{
    public Guid Id { get; set; }
    [Text(Name="name")]
    public string Name { get; set; }
    [Text(Name = "description")]
    public string Description { get; set; }
    [Keyword(Name = "tag")]
    public string[] Tags { get; set; }        
}

然而，我們需要先創(chuàng)建索引，必須使用 ElasticClient API 手動創(chuàng)建和定義索引的映射。這是非常簡單的，特別是如果我們只是使用屬性：

if (!elasticClient.IndexExists("default").Exists)
{
    elasticClient.CreateIndex("default", i => i
        .Mappings(m => m
            .Map<Product>(ms => ms.AutoMap())));
}

直接向Elasticsearch發(fā)送請求(GET localhost:92000/default)，并注意與我們想要的映射是否相同。

使用NEST創(chuàng)建索引映射

使用Nest查詢數(shù)據(jù)

現(xiàn)在，我們有一個使用 NEST 對 "products" 進行索引的 ProductController 控制器。是時候，為這個控制器添加 Find action，用于使用 NEST 向 Elasticsearch 查詢文檔。
我們只是用到一個字段來實現(xiàn)一個簡單的搜索。您應該觀察所有字段:

• 映射為 "Text" 類型的字段可以被分析，您可以在 "name" / "description" 字段內搜索特定的單詞

• 映射為 "Keywords" 的字段是保持原樣的，未進行分析。您只能在 "tags" 字段中完全匹配。

NEST 提供了一個查詢 Elasticsearch 的豐富 API，可以轉換成標準的 HTTP API 。實現(xiàn)上述查詢類型與使用Search/SearchAsync方法一樣簡單，并構建一個 SimpleQueryString 作為參數(shù)。

[HttpGet("find")]
public async Task<IActionResult> Find(string term)
{
    var res = await elasticClient.SearchAsync<Product>(x => x
        .Query( q => q.
            SimpleQueryString(qs => qs.Query(term))));
    if (!res.IsValid)
    {
        throw new InvalidOperationException(res.DebugInformation);
    }

    return Json(res.Documents);
}

使用PostMan測試您的新操作：

使用nest查詢

正如您可能已經意識到的那樣，我們的操作行為與手動發(fā)送請求到 Elasticsearch 一樣：

GET http://localhost:9200/default/_search?q=*&

在 .Net Core 中創(chuàng)建一個Elasticsearch日志提供程序

現(xiàn)在我們了解了 NEST 的一些基礎知識，讓我們嘗試一些更有野心的事情。我們已經創(chuàng)建了一個 ASP.Net Core 的應用程序，借助.NET Core的日志框架，實現(xiàn)我們的日志提供程序，并將信息發(fā)送到Elasticsearch。
新的日志 API 在日志 (logger) 和日志提供程序 (logger provider) 方面的區(qū)別：

• 日志 (logger) 記錄信息和事件，如用于控制器中

• 可以為應用程序添加并啟用多個日志提供程序 (provider) ，并可以配置獨立的記錄級別和記錄相應的信息/事件。

該日志框架內置了一些對事件日志、Azure 等的日志提供程序 (provider)，但正如您將看到的，創(chuàng)建自己的并不復雜。有關詳細信息，請查閱.NET Core 關于日志的官方文檔。
在本文的最后部分，我們將為Elasticsearch創(chuàng)建一個新的日志提供程序，在我們的應用程序中啟用它，并使用Kibana來查看記錄的事件。

為Elasticsearch添加一個新的日志提供程序

首先要做的是定義一個新的POCO對象，我們將使用它作為使用NEST進行索引的文檔，類似于之前創(chuàng)建的 "Product" 類。
這將包含有關可能發(fā)生的任何異常以及相關請求數(shù)據(jù)的記錄信息、可選信息。記錄請求數(shù)據(jù)將會派上用場，因為我們可以根據(jù)具體請求查詢/可視化我們記錄的事件。

public class LogEntry
{
    public DateTime DateTime { get; set; }
    public EventId EventId { get; set; }
    [Keyword]
    [JsonConverter(typeof(StringEnumConverter))]
    public Microsoft.Extensions.Logging.LogLevel Level { get; set; }
    [Keyword]
    public string Category { get; set; }
    public string Message { get; set; }

    [Keyword]
    public string TraceIdentifier { get; set; }
    [Keyword]
    public string UserName { get; set; }        
    [Keyword]
    public string ContentType { get; set; }
    [Keyword]
    public string Host { get; set; }         
    [Keyword]
    public string Method { get; set; }        
    [Keyword]
    public string Protocol { get; set; }
    [Keyword]
    public string Scheme { get; set; }
    public string Path { get; set; }
    public string PathBase { get; set; }
    public string QueryString { get; set; }
    public long? ContentLength { get; set; }
    public bool IsHttps { get; set; }
    public IRequestCookieCollection Cookies { get; set; }
    public IHeaderDictionary Headers { get; set; }

    [Keyword]
    public string ExceptionType { get; set; }        
    public string ExceptionMessage { get; set; }
    public string Exception { get; set; }
    public bool HasException { get { return Exception != null; } }
    public string StackTrace { get; set; }
}

下一步是在一個新類上實現(xiàn)ILogger接口。如您所想，這將需要記錄的數(shù)據(jù)映射到一個新的 LogEntry 對象，并使用 ElasticClient 對其進行索引。

• 我們將使用IHttpContextAccessor，以便我們可以獲取當前的HttpContext并提取相關的請求屬性。

在這里就不寫連接到Elasticsearch并創(chuàng)建索引的代碼，這與之前的操作，沒有什么不同。使用不同的索引或刪除上一節(jié)中索引的 "products" 。

注意： 您可以使用依賴注入和配置文檢查 Github 中 的配套代碼。

實現(xiàn)的主要方法是Log <TState>，這是我們創(chuàng)建一個LogEntry并用NEST進行索引：

public void Log< TState >(LogLevel logLevel, EventId eventId, TState state, Exception exception, Func< TState, Exception, string > formatter)
{
    if (!IsEnabled(logLevel)) return;

    var message = formatter(state, exception);
    var entry = new LogEntry
    {
        EventId = eventId,
        DateTime = DateTime.UtcNow,
        Category = _categoryName,
        Message = message,
        Level = logLevel
    };

    var context = _httpContextAccessor.HttpContext;
    if (context != null)
    {                
        entry.TraceIdentifier = context.TraceIdentifier;
        entry.UserName = context.User.Identity.Name;
        var request = context.Request;
        entry.ContentLength = request.ContentLength;
        entry.ContentType = request.ContentType;
        entry.Host = request.Host.Value;
        entry.IsHttps = request.IsHttps;
        entry.Method = request.Method;
        entry.Path = request.Path;
        entry.PathBase = request.PathBase;
        entry.Protocol = request.Protocol;
        entry.QueryString = request.QueryString.Value;
        entry.Scheme = request.Scheme;

        entry.Cookies = request.Cookies;
        entry.Headers = request.Headers;
    }

    if (exception != null)
    {
        entry.Exception = exception.ToString();
        entry.ExceptionMessage = exception.Message;
        entry.ExceptionType = exception.GetType().Name;
        entry.StackTrace = exception.StackTrace;
    }

    elasticClient.Client.Index(entry);
}

您還需要額外實現(xiàn) BeginScope 和 IsEnabled 方法。

• 為了本文的目的，忽略 BeginScope，只返回null。

• 更新您的構造函數(shù)，以便它接收一個日志級別(LogLevel)，如果接收到大于或等于構造函數(shù)中的日志級別，則實現(xiàn) IsEnabled 并返回 true。

你可能會問為什么需要分類？這是一個用于標識日志是哪種類型的字符串。默認情況下，每次注入ILogger <T>的實例時，該類別默認分配為T的分類名稱。例如，獲取ILogger <MyController>并使用它來記錄某些事件，意味著這些事件將具有 "MyController " 名稱。
這可能派上用場，例如為不同的類設置不同的日志級別，以過濾/查詢記錄的事件。我相信您可能還想到更多的用法。

這個類的實現(xiàn)將如下所示：

public class ESLoggerProvider: ILoggerProvider
{
    private readonly IHttpContextAccessor _httpContextAccessor;
    private readonly FilterLoggerSettings _filter;

    public ESLoggerProvider(IServiceProvider serviceProvider, FilterLoggerSettings filter = null)
    {
        _httpContextAccessor = serviceProvider.GetService<IHttpContextAccessor>();
        _filter = filter ?? new FilterLoggerSettings
        {
            {"*", LogLevel.Warning}
        };
    }

    public ILogger CreateLogger(string categoryName)
    {
        return new ESLogger(_httpContextAccessor, categoryName, FindLevel(categoryName));
    }

    private LogLevel FindLevel(string categoryName)
    {
        var def = LogLevel.Warning;
        foreach (var s in _filter.Switches)
        {
            if (categoryName.Contains(s.Key))
                return s.Value;

            if (s.Key == "*")
                def = s.Value;
        }

        return def;
    }

    public void Dispose()
    {
    }
}

最后，我們創(chuàng)建一個擴展方法，可以用于在啟動類中注冊我們的日志提供程序：

public static class LoggerExtensions
{
    public static ILoggerFactory AddESLogger(this ILoggerFactory factory, IServiceProvider serviceProvider, FilterLoggerSettings filter = null)
    {
        factory.AddProvider(new ESLoggerProvider(serviceProvider, filter));
        return factory;
    }
}
public void Configure(IApplicationBuilder app, IHostingEnvironment env, ILoggerFactory loggerFactory)
{
    loggerFactory.AddConsole(Configuration.GetSection("Logging"))
        .AddDebug()
        .AddESLogger(app.ApplicationServices, new FilterLoggerSettings
        {
            {"*", LogLevel.Information}
        });
    …
}

請注意我如何覆蓋默認設置并按日志級別分類記錄。這樣，我們可以輕松地為每個請求索引一些事件。

在Kibana中可視化數(shù)據(jù)

現(xiàn)在我們已經在Kibana中記錄了事件，我們來探索數(shù)據(jù)可視化吧！
首先，在Kibana中重建索引，這次確保選擇" Index contains time-based events ( Index包含基于時間的事件 )"，選擇字段dateTime作為"Time-field name (時間字段名稱)"。
接下來，啟動您的應用程序，瀏覽一些頁面以獲取一些事件日志。還可以在某個端點隨意添加拋出異常的代碼，以便我們可以看到被記錄的異常數(shù)據(jù)。
在這之后，請轉到Kibana的 發(fā)現(xiàn) (Discover) 頁面，您可以看到由 "dateTime" 字段排序的多個事件（默認情況下，數(shù)據(jù)被過濾為最近15分鐘，但您可以在右上角更改）：

Kibana可視化中記錄的事件

試著在搜索欄中輸入 "exception"，并注意任何一個被分析的文本字段中包含 "exception" 的事件。然后嘗試搜索特定的異常類型（記住我們使用了一個關鍵字字段?。?。
您還可以嘗試搜索特定的URL，如以 " /Home/About "和" /Home/About" 路徑的兩種搜索方式 。您會注意到第一種情況包括引用者是 "/Home/About" 的事件，而第二種情況則只能正確返回路徑為 "/Home/About" 的事件。
一旦你熟悉了數(shù)據(jù)，以及如何查詢數(shù)據(jù)，那么可以用數(shù)據(jù)創(chuàng)建一些有趣的圖形。
首先，我們將創(chuàng)建一個圖表，顯示每分鐘記錄的異常數(shù)。

• 轉到Kibana的 可視化 (Visualize) 頁面，并創(chuàng)建一個新的 垂直條形圖 (Vertical bar chart) 。

• 選擇Y軸作為計數(shù)，X軸上為日期的直方圖。

• 將間隔設置為每分鐘，最后在搜索框中添加一個過濾器 "hasException：true" 。

一個很棒的圖表，顯示每分鐘記錄的異常數(shù)目：

每分鐘記錄的異常數(shù)目

接下來，顯示每個 category 隨時間記錄的消息數(shù)量，限于前5個 category ：

• 轉到Kibana的 可視化 (Visualize) 頁面，并創(chuàng)建一個新的 線型圖 (Line chart) 。

• 再次選擇Y軸作為計數(shù)，X軸上為日期的直方圖，選擇dateTime作為字段，間隔為每分鐘。

• 現(xiàn)在添加一個 sub-bucket 并選擇 "split lines" 。使用 "significant terms" 作為聚合，category 為字段，單位為5個。

這將繪制類似于以下的圖表：

隨著時間的推移

嘗試在搜索框中添加一些過濾器，并查看它對結果的影響。
最后，我們添加另一個圖表，我們將看到前五個出現(xiàn)最多的消息和前五個 categories 的消息。

• 轉到Kibana的 可視化 (Visualize) 頁面，并創(chuàng)建一個新的 餅圖 (Pie chart) 。

• 像之前一樣，選擇Y軸的計數(shù)

• 現(xiàn)在，將 "Terms" 作為聚合，將 "category" 作為字段，數(shù)量作為單位，限制前五個，畫出圖表。

• 然后將 "Terms" 作為聚合來分割切片，"message.keyword" 作為字段，數(shù)量作為單位，限制前五個。
  一旦你有了這些設置，你會看到一個類似于這個圖表：

每個 category 中最常見的消息

花時間觀察下數(shù)據(jù)(百分比，message/category 顯示在圖表元素上)。例如，您將觀察到由
DeveloperExceptionPageMiddleware類記錄的異常。

結論

Elasticsearch是一個強大的數(shù)據(jù)索引和查詢平臺。雖然它本身相當令人印象深刻，但與其他應用程序（如Kibana）相結合，可以很好地分析、報告和可視化數(shù)據(jù)。只要您開始使用，只是蜻蜓點水都能的到非凡的結果。
對于 .Net 和 .Net Core，Elasticsearch 官方的 API 已經覆蓋，因為它們支持 .Net Standard 1.3和更高版本（他們仍然在為1.1提供支持）。
正如我們已經看到的，在 ASP.Net Core 項目中使用這個 API 是很方便的，我們可以輕松地將其 REST API 作為存儲，以及在應用程序中作為日志提供程序。
最后但并非不重要的一點，我希望您使用Docker。嘗試使用 Elasticsearch，同時思考Docker可以為您和您的團隊做些什么。