graylog3.0收集飛塔防火墻日志

公司有一臺飛塔防火墻，是基于utm的，很多功能都過期了，之前我配置了破解的anlayer來收集分析防火墻策略日志，非常好用，但是這玩意要錢，只能試用30天，我是把系統(tǒng)時間調(diào)成了2017年，避免到期，但是收集的時間不準(zhǔn)，非常麻煩。

如下所示：

所以想用graylog3.0來收集分析飛塔防火墻的日志

首先graylog是一個大數(shù)據(jù)分析平臺，只拿來收集日志有點大材小用，但是我又不懂大數(shù)據(jù)=。=

1、graylog 的content packs和marketplace

content pack(內(nèi)容包）內(nèi)容包是共享配置的便捷方式。內(nèi)容包是一個JSON文件，其中包含一組Graylog組件的配置。可以將此JSON文件上載到Graylog實例，然后進行安裝。花費時間為特定類型的日志格式創(chuàng)建輸入，管道和儀表板的用戶可以輕松地與社區(qū)分享他的努力。

graylog marketplace是分享和購買內(nèi)容包的市場。

可以簡單理解為，有很多大神提供給了不同的數(shù)據(jù)分析方式供人下載使用，滿足不通的數(shù)據(jù)分析需求

地址為

https://marketplace.graylog.org/

收索forita相關(guān)

搜索結(jié)果如下：

我使用第一個

包含了github地址和配置方法

github地址為https://github.com/juiceman84/Fortigate_Content_Pack

2、graylog導(dǎo)入內(nèi)容包

登陸graylog后，在system->connet packs中配置內(nèi)容包

可以看到系統(tǒng)自帶內(nèi)容包，點擊create a content pack來導(dǎo)入

然后按照如下填寫

切記 url要填寫 github地址https://github.com/juiceman84/Fortigate_Content_Pack

然后下一步，不用調(diào)整

再然后下一步

其他的不用管，因為我也不知道是干嘛的 然后點擊create

完成后點擊安裝

此時內(nèi)容包就已經(jīng)安裝完畢了，是不是很簡單

但是你以為簡單是因為不知道那么多選項是干嘛的=。=

3、配置input

在system->input中配置日志接收方式

因為防火墻日志都是syslog格式，所以要新建一個syslog udp的input

按照如下進行配置即可，端口是30000，這是內(nèi)容包說明要求的，udp還是tcp協(xié)議取決于防火墻是否支持，公司這款飛塔防火墻只支持udp協(xié)議

完成后，去防火墻上配置日志發(fā)送,端口需要一致

然后去配置input的extrators（提取器），所謂提取器以下是官方說明

簡單來說，就是syslog協(xié)議太簡單了，需要提取器來配置一定的格式，比如顯示時間，主機，內(nèi)容等，不然收集到的日志就是一堆亂糟糟的cvs文本

然后在action中點擊import extrators

這里要求你輸入一段json格式代碼

老子搞運維的，懂哥毛的json

不要緊，之前內(nèi)容包的github中已經(jīng)包含了提取器的json,只是要我們手動寫入

然后把代碼復(fù)制粘貼

然后點擊添加

添加成功后，可以看到出現(xiàn)了很多提取器，這是之前內(nèi)容包中配置好的

配置完了后，然后就可以收集了，點擊啟動

然后就就可以看到收集的信息了

4、配置

收集的日志信息很亂，包括策略日志，信息日志，而且內(nèi)容很雜，所以要調(diào)整

首先配置信息顯示的字段（fields)，包括日期啊，源地址，目的地址等,不要都選，選擇重要的即可，按照防火墻策略五元組信息（源目的端口，原目的地址，協(xié)議）進行勾選

其次，在搜索框中，輸入搜索的信息類型，使用type=traffic代表過濾出流量類型的信息

說明：

1、搜索框中，輸入字段 type=taffic,代表流量

2、這些可以選擇的字段，是因為配置了內(nèi)容包采用，沒有配置內(nèi)容包，是沒有這些字段過濾和選擇的

簡單說明下字段作用

timestamp：時間戳

source:發(fā)送日志的源設(shè)備

dst:目的地址

dst_int:目的接口

level:日志等級

msg:處理動作

policyid:命中的策略id

proto:協(xié)議類型

servie:服務(wù)類型

sercetiy:安全等級

src:源地址

src_int:源接口

tpye:日志類型

基本上有這些東西就可以分析策略日志了

然后我們點開一個信息

就可以看到信息具體類容，基本上就是一條防火墻策略信息，很詳細(xì)

然后我們可以把搜索的結(jié)果保存，方便下次直接使用

同時可以把搜索的結(jié)果放到儀表盤中

除了可以搜索以外，還可以配置字段統(tǒng)計，比如統(tǒng)計源地址排行，策略排行等

比如配置策略數(shù)量排行，就可以看到哪些策略被引用的最多

配置generate chart(通用圖標(biāo)），可以查看一定時間內(nèi)的字段信息的數(shù)量和保存的空間大小，可以添加到儀表盤

配置Quick values，可以統(tǒng)計一定數(shù)量，圖形,默認(rèn)餅圖統(tǒng)計，可以添加到儀表盤

字段統(tǒng)計，統(tǒng)計該字段出現(xiàn)的數(shù)量，最大值，最小值等，可以添加到儀表盤

最后一個world map，需要配置地理信息擴展，顯示字段在地理區(qū)域出現(xiàn)的頻率，這次用不上

好了來看看儀表盤，配置好了后，可以直接展現(xiàn)

基本上就能滿足日常運維需要了

5、思考與擴展

1、graylog支持流式計算和告警，就是說支持實時的講收集到數(shù)據(jù)按照一定的規(guī)則進行過濾，然后按照配置的告警規(guī)則進行告警，但是我沒配置成功過，看來需要去學(xué)大數(shù)據(jù)相關(guān)知識

2、graylog的搜索語法太簡單了，而且不準(zhǔn)，感覺就是簡單的正則匹配，比起splunk還有其他專門自帶搜索語法的日志軟件，差太遠(yuǎn)了

3、防火墻的日志量十分巨大，基本上發(fā)送量高峰是每秒1500條信息，ipos峰值30，帶寬峰值30MBps要占用5G左右的存儲空間。我的graylog幾次差點掛了，IO承受不住，實際生產(chǎn)使用，不要用虛擬機化，也可以考慮分布式多節(jié)點部署，分?jǐn)倝毫?/p>

4、簡單測試了存儲壓力，1000條數(shù)據(jù)美妙，數(shù)據(jù)寫入大小，4-8kB較多，64-512kB其次，70%左右的隨機寫IO，平均IO寫延遲100ms,對存儲的要求還是有的

5、cpu和內(nèi)存壓力，16g內(nèi)存平均占用99.5%,2路4核8vcpu長期占用88.5%，此時graylog明顯搜索和反應(yīng)緩慢

graylog的優(yōu)勢就是開源，簡單，開箱易用，使用內(nèi)容包，幾乎可以收集分析任何類型的數(shù)據(jù)

但是對于 防火墻日志收集，還是得有專門硬件比較好