Logtail在日志處理階段的兩個(gè)新功能是什么

本文小編為大家詳細(xì)介紹“Logtail在日志處理階段的兩個(gè)新功能是什么”，內(nèi)容詳細(xì)，步驟清晰，細(xì)節(jié)處理妥當(dāng)，希望這篇“Logtail在日志處理階段的兩個(gè)新功能是什么”文章能幫助大家解決疑惑，下面跟著小編的思路慢慢深入，一起來(lái)學(xué)習(xí)新知識(shí)吧。

日志收集流程

對(duì)于日志收集的客戶端，其work pipeline通常包括三個(gè)過(guò)程：Input，Process，Output。

• Input： 適配各類日志接入源，目前Logtail支持文本文件、Syslog（TCP流式）兩種形式數(shù)據(jù)寫入。

• Process：自定義日志處理邏輯，常見(jiàn)的有：日志切分、日志編碼轉(zhuǎn)換、日志結(jié)構(gòu)化解析、日志過(guò)濾等等。

• Output：定義日志輸出，例如Logtail以HTTP協(xié)議寫數(shù)據(jù)到日志服務(wù)。

日志轉(zhuǎn)碼

日志服務(wù)限制數(shù)據(jù)的字符編碼為UTF-8，這也是Logtail在發(fā)送數(shù)據(jù)階段對(duì)于字符編碼的要求。

但可能一些較老的應(yīng)用組件在處理中文的時(shí)候，會(huì)打印GBK編碼的數(shù)據(jù)到日志文件。

這種情況下，你可以在Logtail配置的高級(jí)選項(xiàng)中，選擇日志文件編碼為”GBK“。那么，Logtail在采集日志時(shí)，會(huì)對(duì)日志內(nèi)容先做GBK到UTF-8的編碼轉(zhuǎn)換，再進(jìn)行后續(xù)處理。

Logtail目前支可以支持UTF-8和GBK兩種文件編碼格式。對(duì)于GBK格式，Logtail使用Linux系統(tǒng)的iconv API，編碼轉(zhuǎn)換過(guò)程中會(huì)額外消耗機(jī)器計(jì)算資源。

問(wèn)：如何判斷我的GBK日志文件是否可以通過(guò)Logtail收集？
答：在Linux Shell下使用iconv命令進(jìn)行轉(zhuǎn)碼測(cè)試，假設(shè)日志文件名為gbk.log，執(zhí)行命令：

iconv -f GBK -t UTF-8 gbk.log -o gbk_to_utf8.log

如果執(zhí)行成功則說(shuō)明文件編碼是GBK；如執(zhí)行失?。愃苅conv: illegal input sequence at position 2743錯(cuò)誤），則說(shuō)明文件不是合法的GBK編碼，無(wú)法通過(guò)Logtail做編碼轉(zhuǎn)換，請(qǐng)嘗試調(diào)整應(yīng)用輸出的日志文件編碼格式為UTF-8。

日志過(guò)濾

舉一個(gè)web服務(wù)器的例子，Nginx每時(shí)每刻接收大量請(qǐng)求，并在access.log記錄這些請(qǐng)求：

10.200.98.220 - - [25/May/2016:14:55:42 +0800] "HEAD sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores HTTP/1.1" 0.024 18204 200 37 "-" "aliyun-sdk-java" 13605
10.200.98.220 - - [25/May/2016:14:55:42 +0800] "POST sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores HTTP/1.1" 0.024 18204 404 37 "-" "ali-log-logtail" 13608
10.200.98.220 - - [25/May/2016:14:55:42 +0800] "PUT sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores HTTP/1.1" 0.024 18204 401 37 "-" "aliyun-sdk-java" 13609
10.200.98.220 - - [25/May/2016:14:55:42 +0800] "PUT sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores HTTP/1.1" 0.024 18204 502 37 "-" "aliyun-sdk-java" 13610
10.200.98.220 - - [25/May/2016:14:55:42 +0800] "GET sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores HTTP/1.1" 0.024 18204 401 37 "-" "cpp-sdk-0.6" 13612
10.200.98.220 - - [25/May/2016:14:55:42 +0800] "PUT sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores HTTP/1.1" 0.024 18204 400 37 "-" "cpp-sdk-0.6" 13614
10.200.98.220 - - [25/May/2016:14:55:42 +0800] "POST sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores HTTP/1.1" 0.024 18204 400 37 "-" "ali-log-logtail" 13615
10.200.98.220 - - [25/May/2016:14:55:42 +0800] "HEAD sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores HTTP/1.1" 0.024 18204 200 37 "-" "cpp-sdk-0.6" 13616

對(duì)于問(wèn)題調(diào)查的場(chǎng)景，HTTP 200請(qǐng)求的日志量通常是巨大的，如果我們希望降低日志存儲(chǔ)的成本，只上傳發(fā)生異常的請(qǐng)求日志，應(yīng)該怎么來(lái)做呢？

在今天，你可以打開(kāi)Logtail配置的高級(jí)選項(xiàng)，設(shè)置過(guò)濾器來(lái)解決數(shù)據(jù)過(guò)濾的問(wèn)題。

如上圖所示，分別對(duì)url字段和status字段設(shè)置了兩個(gè)過(guò)濾器。指定字段Key存在且Value符合正則表達(dá)式的日志會(huì)被保留。

定義多個(gè)過(guò)濾器的時(shí)候，判斷條件是“與”的關(guān)系，滿足所有過(guò)濾器設(shè)置的日志是合法的，否則被丟棄。

對(duì)于一條日志，當(dāng)url字段與"(POSTs.）|(GETs.)"匹配成功且status字段與"[345]d+"匹配成功的時(shí)候（只采集POST、GET請(qǐng)求且狀態(tài)碼非200的日志），Logtail將該日志上傳至日志服務(wù)，如下圖所示：

如果設(shè)置過(guò)濾器的字段名在日志里找不到，那么這條日志也是不合法的，需要被丟棄。默認(rèn)情況下，用戶沒(méi)有任何過(guò)濾器設(shè)置的情況下，所有被Logtail讀取并解析成功的日志數(shù)據(jù)都會(huì)寫入日志服務(wù)。

實(shí)例配置：

只收集匹配到 topic  為  action 或者 plugin 的日志 

讀到這里，這篇“Logtail在日志處理階段的兩個(gè)新功能是什么”文章已經(jīng)介紹完畢，想要掌握這篇文章的知識(shí)點(diǎn)還需要大家自己動(dòng)手實(shí)踐使用過(guò)才能領(lǐng)會(huì)，如果想了解更多相關(guān)內(nèi)容的文章，歡迎關(guān)注億速云行業(yè)資訊頻道。