一次客戶防火墻配置導(dǎo)致業(yè)務(wù)故障分析

相關(guān)敏感信息去除

1.故障情況
在2019年7月11日接收到值班人員反饋，在23：45開始，三套網(wǎng)管終端顯示XXXXX、XXXXX、XXXXX所有網(wǎng)元脫管，在00：00恢復(fù)，持續(xù)15分鐘。同時相關(guān)技術(shù)人員也反饋在此時間段，三套網(wǎng)管的服務(wù)器也與各自網(wǎng)元中斷聯(lián)系，也是持續(xù)15分鐘。本次故障從7月11日發(fā)現(xiàn)，到7月14日解決，一共持續(xù)了4天。
2.拓?fù)湔f明

防火墻采用采用透明模式部署在服務(wù)器與網(wǎng)管網(wǎng)絡(luò)之間，配置相應(yīng)的安全策略。
整個網(wǎng)絡(luò)使用二層數(shù)據(jù)交換，不涉及路由轉(zhuǎn)發(fā)
3.采取措施
經(jīng)過線路檢測，設(shè)備檢測，數(shù)據(jù)包抓包，防火墻日志分析，設(shè)備日志分析和主機日志分析都未能定位故障原因。后經(jīng)過防火墻售后工程師協(xié)助定位，定位出故障原因，并同時更改防火墻配置，解決故障。
4.故障解決
4.1.XX網(wǎng)管網(wǎng)絡(luò)抓包分析
在針對XX網(wǎng)管系統(tǒng)進行抓包分析，故障事件段內(nèi)有大量OSPF的HELLO報文從XX網(wǎng)元匯聚交換機上進行轉(zhuǎn)發(fā)，但是無法通過防火墻轉(zhuǎn)發(fā)到服務(wù)器上，說明防火墻相關(guān)配置阻止了OSPF報文抓發(fā)。

4.2.XX網(wǎng)管網(wǎng)絡(luò)抓包分析
針對XXXXX，XXXXX傳輸網(wǎng)管網(wǎng)絡(luò)進行抓包分析，故障事件段內(nèi)，有大量二層以太網(wǎng)幀從XXXXX，匯聚交換機上轉(zhuǎn)發(fā)，但是無法通過防火墻轉(zhuǎn)發(fā)到服務(wù)器上，說明防火墻阻止了相關(guān)二層數(shù)據(jù)包

4.3.更改防火墻配置
針對以上現(xiàn)象，并通過測試，調(diào)整防火墻相關(guān)配置：
1、配置全局網(wǎng)絡(luò)-非IP報文轉(zhuǎn)發(fā)
針對XX網(wǎng)管網(wǎng)絡(luò)存在OSPF不能轉(zhuǎn)發(fā)問題，設(shè)置防火墻轉(zhuǎn)發(fā)非IP報文。

2、配置虛擬交換機-轉(zhuǎn)發(fā)帶有標(biāo)記數(shù)據(jù)包
針對XX網(wǎng)管網(wǎng)絡(luò)存在部分二層數(shù)據(jù)包不能抓發(fā)問題，設(shè)置防火墻轉(zhuǎn)發(fā)帶有標(biāo)記的數(shù)據(jù)包。

經(jīng)過以上配置，同時進行充分的測試，故障消失。

5.網(wǎng)絡(luò)中斷事件分析
經(jīng)過分析和推斷，為何23：45-00：00固定事件段網(wǎng)管網(wǎng)絡(luò)中斷，為何防火墻上線一個多月期間并未發(fā)生此次故障，總結(jié)出以下可能原因：
1、XX網(wǎng)管網(wǎng)絡(luò)中的設(shè)備在23：45-00：00需要發(fā)送OSPF報文與服務(wù)器建立通信機制，進行某種業(yè)務(wù)操作，而在故障之前并未采取這種業(yè)務(wù)操作。
2、XX網(wǎng)管網(wǎng)絡(luò)中的設(shè)備在23：00-00：00需要建立帶有TAG的二層數(shù)據(jù)包與服務(wù)器建立通信機制，進行某種業(yè)務(wù)操作，而在故障之前并未采取這種業(yè)務(wù)操作。
3、XX，XX三套網(wǎng)管網(wǎng)絡(luò)在故障事件段同時進行業(yè)務(wù)操作機制不明，如有需要，要進行徹底排查。
6.相關(guān)建議
防火墻是嚴(yán)格按照指定策略規(guī)則進行數(shù)據(jù)包過濾和抓發(fā)，此次業(yè)務(wù)故障確實是因為防火墻配置不當(dāng)造成，但是同時也說明整個網(wǎng)絡(luò)存在網(wǎng)絡(luò)環(huán)境不合規(guī)和異常舉動，建議按照以下幾個方面對風(fēng)險進行規(guī)避：
1、核實XX、XX網(wǎng)管網(wǎng)絡(luò)中設(shè)備是否存在定時業(yè)務(wù)操作在23：45-00：00執(zhí)行
2、對網(wǎng)管服務(wù)器進行漏洞掃描安全加固
3、推進等保評測，推進業(yè)務(wù)堡壘機使用