使用Fluentd和MongoDB怎么構(gòu)建一個日志收集系統(tǒng)

使用Fluentd和MongoDB怎么構(gòu)建一個日志收集系統(tǒng)，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來學(xué)習(xí)下，希望你能有所收獲。

　　安裝

　　為了完成相關(guān)的測試，需要安裝下面一些組件：

　　Fluentd with MongoDB Plugin

　　MongoDB

　　Apache (with the Combined Log Format)

　　在Fluentd的最新安裝包中已經(jīng)包含了MongoDB插件，你也可以用命令

　　gem install fluent-plugin-mongo

　　來進(jìn)行安裝

　　Debian Package

　　RPM Package

　　MongoDB Downloads

　　配置

　　如果你是使用上面的deb/rpm包安裝的Fluentd，那么配置文件位置在：/etc/td-agent/td-agent.conf，否則其位置應(yīng)該在：/etc/fluentd/fluentd.conf

　　首先我們編輯配置文件中的source來設(shè)置日志來源

　　source>

　　type tail

　　format apache

　　path /var/log/apache2/access_log

　　tag mongo.apache

　　/source>

　　如何使用Fluentd和MongoDB構(gòu)建日志收集系統(tǒng)

　　其中：

　　①type tail: tail方式是 Fluentd 內(nèi)置的輸入方式，其原理是不停地從源文件中獲取新的日志。

　?、趂ormat apache: 指定使用 Fluentd 內(nèi)置的 Apache 日志解析器。

　?、踦ath /var/log/apache2/access_log: 指定日志文件位置。

　　④tag mongo.apache: 指定tag，tag被用來對不同的日志進(jìn)行分類

　　下面再來編輯輸出配置，配置日志收集后存儲到MongoDB中

　　match mongo.**>

　　# plugin type

　　type mongo

　　# mongodb db + collection

　　database apache

　　collection access

　　# mongodb host + port

　　host localhost

　　port 27017

　　# interval

　　flush_interval 10s

　　/match>

　　match標(biāo)簽后面可以跟正則表達(dá)式以匹配我們指定的tag，只有匹配成功的tag對應(yīng)的日志才會運(yùn)用里面的配置。配置中的其它項都比較好理解，看注釋就可以了，其中flush_interval是用來控制多長時間將日志寫入MongoDB一次。

　　測試

　　用ab工具對Apache進(jìn)行訪問，以產(chǎn)生相應(yīng)的訪問日志以供收集

　　$ ab -n 100 -c 10 http://localhost/

　　然后我們在MongoDB中就能看到收集到的日志了。

看完上述內(nèi)容是否對您有幫助呢？如果還想對相關(guān)知識有進(jìn)一步的了解或閱讀更多相關(guān)文章，請關(guān)注億速云行業(yè)資訊頻道，感謝您對億速云的支持。