詳解網(wǎng)絡(luò)流量監(jiān)控​

詳解網(wǎng)絡(luò)流量監(jiān)控

       網(wǎng)絡(luò)的行為特征可以通過(guò)其承載的流量的動(dòng)態(tài)特性來(lái)反映，所以有針對(duì)性地監(jiān)測(cè)網(wǎng)絡(luò)中流量的各種參數(shù)(如接收和發(fā)送數(shù)據(jù)報(bào)大小、丟包率、數(shù)據(jù)報(bào)延遲等信息)，能從這些參數(shù)中分析網(wǎng)絡(luò)的運(yùn)行狀態(tài)。通過(guò)分析和研究網(wǎng)絡(luò)上所運(yùn)載的流量特性，有可能提供一條有效的探索網(wǎng)絡(luò)內(nèi)部運(yùn)行機(jī)制的途徑。

      另外，網(wǎng)絡(luò)流量反映了網(wǎng)絡(luò)的運(yùn)行狀態(tài)，是判別網(wǎng)絡(luò)運(yùn)行是否正常的關(guān)鍵。如果網(wǎng)絡(luò)所接收的流量超過(guò)其實(shí)際運(yùn)載能力，就會(huì)引起網(wǎng)絡(luò)性能下降。通過(guò)流量測(cè)量不僅能反映網(wǎng)絡(luò)設(shè)備(如路由器、交換機(jī)等)工作是否正常，而且能反映出整個(gè)網(wǎng)絡(luò)運(yùn)行的資源瓶頸。所以，企業(yè)網(wǎng)中網(wǎng)絡(luò)流量的健康程度，就如同人體中的血液一樣重要。

一、網(wǎng)絡(luò)監(jiān)聽(tīng)關(guān)鍵技術(shù)

1.網(wǎng)絡(luò)監(jiān)聽(tīng)

       網(wǎng)絡(luò)監(jiān)聽(tīng)是一種監(jiān)視網(wǎng)絡(luò)狀態(tài)、數(shù)據(jù)流程，以及網(wǎng)絡(luò)上信息傳輸?shù)墓芾砉ぞ?，其監(jiān)聽(tīng)的工作流程是：監(jiān)聽(tīng)者通過(guò)單一探針或分布式的探針，收集目標(biāo)網(wǎng)絡(luò)段數(shù)據(jù)流，通過(guò)預(yù)定的隧道匯總到遠(yuǎn)程/本地?cái)?shù)據(jù)中心，并利用網(wǎng)絡(luò)流量/協(xié)議分析系統(tǒng)完成對(duì)海量數(shù)據(jù)的初步分析和預(yù)處理，最后根據(jù)任務(wù)需求，對(duì)其中的關(guān)鍵數(shù)據(jù)完成識(shí)別、地理位置的定位和評(píng)估，為進(jìn)一步的行動(dòng)提供依據(jù)。網(wǎng)絡(luò)監(jiān)聽(tīng)包括兩種核心技術(shù)，即數(shù)據(jù)流采集技術(shù)和網(wǎng)絡(luò)流量/協(xié)議分析技術(shù)。數(shù)據(jù)流采集，指通過(guò)在特定位置部署網(wǎng)絡(luò)監(jiān)聽(tīng)探針，從監(jiān)聽(tīng)的對(duì)象（包括單機(jī)或內(nèi)網(wǎng)網(wǎng)段）處采集數(shù)據(jù)流；協(xié)議分析，通常指采用計(jì)算機(jī)人工智能與情報(bào)分析專家協(xié)同處理的方式，從海量數(shù)據(jù)中發(fā)現(xiàn)任務(wù)所需的關(guān)鍵信息，并力圖在工作效率和準(zhǔn)確性方面取得最佳平衡。

       網(wǎng)絡(luò)流量/協(xié)議分析技術(shù)能幫助網(wǎng)絡(luò)運(yùn)行維護(hù)人員充分了解和掌握網(wǎng)絡(luò)的流量占用、應(yīng)用分布、通信連接、數(shù)據(jù)包原始內(nèi)容等所有網(wǎng)絡(luò)行為，以及整個(gè)網(wǎng)絡(luò)的運(yùn)行情況，使其能在網(wǎng)絡(luò)出現(xiàn)問(wèn)題時(shí)，快速準(zhǔn)確地分析問(wèn)題原因、定位關(guān)鍵點(diǎn)、故障點(diǎn)和威脅點(diǎn)并進(jìn)行相應(yīng)處理，確保網(wǎng)絡(luò)按預(yù)期目標(biāo)運(yùn)行。它能幫助我們弄清楚“網(wǎng)絡(luò)內(nèi)部的運(yùn)作細(xì)節(jié)”

2． SNMP協(xié)議的不足

       SNMP是RMON模型的前身。目前，SNMP是基于TCP/IP并在Internet中應(yīng)用比較廣泛的網(wǎng)管協(xié)議，網(wǎng)絡(luò)管理員可以使用它來(lái)監(jiān)視和分析網(wǎng)絡(luò)運(yùn)行情況，但是SNMP也有一些明顯的不足之處。SNMP使用輪詢采集數(shù)據(jù)，而在大型網(wǎng)絡(luò)中輪詢會(huì)產(chǎn)生巨大的網(wǎng)絡(luò)管理報(bào)文，從而導(dǎo)致網(wǎng)絡(luò)擁塞。SNMP僅提供一般的驗(yàn)證，不能提供可靠的安全保證。此外，SNMP也不支持分布式管理，而采用集中式管理。由于只有網(wǎng)管工作站負(fù)責(zé)采集數(shù)據(jù)和分析數(shù)據(jù)，所以網(wǎng)管工作站的處理能力可能成為瓶頸。為了提高傳送管理報(bào)文的有效性，減少網(wǎng)管工作站的負(fù)載，滿足網(wǎng)絡(luò)管理員監(jiān)控網(wǎng)段性能的需求，IETF開發(fā)了RMON用以解決SNMP在日益擴(kuò)大的分布式互聯(lián)中所面臨的局限性。

3.監(jiān)聽(tīng)關(guān)鍵技術(shù)

       網(wǎng)絡(luò)監(jiān)聽(tīng)系統(tǒng)中包括兩個(gè)方面的核心技術(shù)：數(shù)據(jù)流采集技術(shù)和網(wǎng)絡(luò)流量/協(xié)議分析技術(shù)。與此同時(shí)，業(yè)界也存在另一種劃分方法，將網(wǎng)絡(luò)監(jiān)聽(tīng)的關(guān)鍵技術(shù)概括為以下三個(gè)方面的內(nèi)容：

       數(shù)據(jù)流采集技術(shù)解決“如何從網(wǎng)絡(luò)的不同位置獲取我們所需要的絡(luò)數(shù)據(jù)流”這一問(wèn)題。從數(shù)據(jù)采集的位置看，可以分為基于網(wǎng)絡(luò)、基于主機(jī)及混合采集三種：

 （1）流量監(jiān)測(cè)技術(shù)。

       流量監(jiān)測(cè)技術(shù)主要包括基于SNMP的流量監(jiān)測(cè)和基于Netflow的流量監(jiān)測(cè)?；赟NMP的流量信息采集。通過(guò)提取網(wǎng)絡(luò)設(shè)備代理提供的MIB收集一些具體設(shè)備及與流量信息有關(guān)的變量?；赟NMP收集的網(wǎng)絡(luò)流量信息包括輸字節(jié)數(shù)、廣播包數(shù)、丟包數(shù)和輸出隊(duì)長(zhǎng)列長(zhǎng)度等。

（2）基于Netflow流量信息采集。

       基于網(wǎng)絡(luò)設(shè)備提供的Netflow機(jī)制實(shí)現(xiàn)的網(wǎng)絡(luò)流量采集，在此基礎(chǔ)上實(shí)現(xiàn)的流量信息采集效率和效果均能夠滿足網(wǎng)絡(luò)流量異常監(jiān)測(cè)的需求?；谝陨系牧髁繖z測(cè)技術(shù)，目前有很多流量監(jiān)控管理軟件，此類軟件是判斷異常流量流向的有效工具，通過(guò)流量大小變化的監(jiān)控，可以幫助網(wǎng)管人員發(fā)現(xiàn)異常流量，特別是大流量異常流量的流向，從而進(jìn)一步查找異常流量的源地址和目的地址。

（3）協(xié)議分析技術(shù)。

        協(xié)議分析技術(shù)用于解決了解掌握用戶具體使用了什么協(xié)議和應(yīng)用，主要包括協(xié)議和應(yīng)用識(shí)別、數(shù)據(jù)包解碼分析等。

4 NetFlow與sFlow的區(qū)別

         目前基于流量的解決方案主要分為sFlow和NetFlow兩種。sFlow是由惠普和Foundry Networks聯(lián)合開發(fā)它采用隨機(jī)數(shù)據(jù)流采集技術(shù)，可以適應(yīng)超大網(wǎng)絡(luò)流量例如在萬(wàn)兆流量的環(huán)境中，進(jìn)行實(shí)施分析網(wǎng)絡(luò)傳輸，但是支持sFlow的硬件設(shè)備并不多，目前有惠普和FoundryNetworks以及Extreme Networks廠家的設(shè)備支持。NetFlow是思科的技術(shù)目前廣泛的在各種中高端設(shè)備都支持，但目前對(duì)萬(wàn)兆流量支持的并不理想，它采用了定時(shí)抽樣采集數(shù)據(jù)。Ntop工具的插件中就提供了sFlow和Netflow流量采集的支持。

5.協(xié)議和應(yīng)用識(shí)別

       根據(jù)采集的數(shù)據(jù)報(bào)報(bào)頭的內(nèi)容，采用基于協(xié)議自動(dòng)機(jī)的流量識(shí)別技術(shù)，綜合分析包括IP地址、端口號(hào)、關(guān)鍵字、報(bào)文格式、傳輸層協(xié)議等在內(nèi)的多種特征，對(duì)流量進(jìn)行分類并完成對(duì)各種應(yīng)用層協(xié)議的準(zhǔn)確識(shí)別，如數(shù)據(jù)庫(kù)協(xié)議、使用動(dòng)態(tài)端口分配的P2P、加密型或非加密型即時(shí)通信、虛擬隧道應(yīng)用等都將無(wú)所遁形。

        基于數(shù)據(jù)包解碼的分析。首先將采集到的數(shù)據(jù)報(bào)按照?qǐng)?bào)文格式定義解碼為可讀的數(shù)據(jù)段，然后對(duì)海量的數(shù)據(jù)段進(jìn)行智能化狀態(tài)模式匹配。這種技術(shù)的原理是以與會(huì)話中的客戶端或者服務(wù)器端相同的方式解碼，各個(gè)協(xié)議組件在識(shí)別通信數(shù)據(jù)的各個(gè)部分類型之后根據(jù)RFC定義的規(guī)則搜尋信息模式，在某些情況下可以通過(guò)在某個(gè)特定的協(xié)議域中進(jìn)行模式匹配來(lái)進(jìn)行，而有些則需要采用一些更加先進(jìn)的技術(shù)或引入人工干預(yù)，如根據(jù)一些特定的變量（如某個(gè)域的長(zhǎng)度或者自變量的數(shù)量）進(jìn)行檢測(cè)等。

6.網(wǎng)絡(luò)數(shù)據(jù)流采集技術(shù)

       掌控網(wǎng)絡(luò)通信情況的最佳辦法是對(duì)網(wǎng)絡(luò)數(shù)據(jù)流進(jìn)行全面采集。目前主要有兩種類即硬件探針和軟件代理。網(wǎng)絡(luò)探針（Sensor）通常借助Hub/交換機(jī)/TAP等設(shè)備，如常見(jiàn)的交換機(jī)端口分析器(SPAN)功能,本書中涉及的監(jiān)控部分都是利用此功能；還可采取在網(wǎng)段中串接TAP設(shè)備的方式；使用集線器(Hub)作為網(wǎng)絡(luò)中心交換設(shè)備的網(wǎng)絡(luò)為共享式網(wǎng)絡(luò)，集線器以共享帶寬的方式工作，所有接在集線器上的設(shè)備均處在一個(gè)沖突域中，因此，如果用戶網(wǎng)絡(luò)的中心交換設(shè)備是集線器，只需將監(jiān)聽(tīng)設(shè)備與集線器相連，即可捕獲整個(gè)子網(wǎng)中所有的數(shù)據(jù)通信。

         交換機(jī)端口分析器（俗稱SPAN）是平時(shí)比較常見(jiàn)的，且作用在交換機(jī)上的網(wǎng)絡(luò)數(shù)據(jù)流采集端口。網(wǎng)絡(luò)管理員配置交換機(jī)上的一個(gè)端口作為SPAN端口，然后交換機(jī)就將其指定端口/VLAN的流量復(fù)制并發(fā)送到SPAN端口，用于監(jiān)聽(tīng)網(wǎng)絡(luò)流量。當(dāng)然是用SPAN方式也有它的不足，它工作時(shí)逼近要以犧牲交換機(jī)性能為代價(jià)（正常情況下啟用SPAN后交換機(jī)CPU的使用率在10%以下，如果過(guò)半那么就不能使用SPAN方案），為了解決這個(gè)問(wèn)題，在千兆速率以上的網(wǎng)絡(luò)中要試試流量收集分析，就要用到硬件加速技術(shù)，目前比較好的是Endace公司開發(fā)的GAG系列檢測(cè)卡，有興趣的讀者可以在網(wǎng)上深入查詢。

7 .SPAN的局限性

         在《開源安全運(yùn)維平臺(tái)-OSSIM最佳實(shí)踐》一書中全部案例都用到了SPAN技術(shù)，但應(yīng)該指出的是思科、華為等廠商在SPAN方面有著一些限制：

• SPAN會(huì)話中目的端口只能有一個(gè)；

• 不同的SPAN會(huì)話目的端口只能有一個(gè)；

• 一般中檔的思科設(shè)備通常只支持一個(gè)會(huì)話；

        在安全級(jí)別和要求比較高的場(chǎng)合（例如多個(gè)IDS系統(tǒng)+多個(gè)流量分析系統(tǒng)并行使用的情況），會(huì)要求使用它2個(gè)以上的安全設(shè)備或者流量分析設(shè)備，這時(shí)由于交換機(jī)SPAN端口數(shù)量上的限制，無(wú)法滿足要求，所以用戶通常會(huì)考慮采用專用流量分析接入設(shè)備—TAP（Test Access Point）方式，而傳統(tǒng)的SPAN可以作為補(bǔ)充?；赥AP的流量復(fù)制/匯聚器，它是個(gè)硬件設(shè)備，作用是支持多端口的流量匯聚，而且能做到真正的全線速，也就是能夠完整的復(fù)制到多個(gè)監(jiān)聽(tīng)端口上供多套分析系統(tǒng)使用。為什么它能這么強(qiáng)悍，因?yàn)門AP設(shè)備內(nèi)部采用了硬件ASIC方式復(fù)制交換引擎，所以可以保證千兆全線速?gòu)?fù)制監(jiān)聽(tīng)。通常部署方式是將TAP設(shè)備串聯(lián)在防火墻和核心交換機(jī)之間，然后將IDS/IPS等多套安全設(shè)備接到TAP的指定端口就能實(shí)現(xiàn)多個(gè)安全設(shè)備同時(shí)工作的目的。下面通過(guò)表1，讓讀者對(duì)三者優(yōu)缺有個(gè)清晰的認(rèn)識(shí)

表1 HUB/SPAN/TAP 監(jiān)聽(tīng)方法比較

         在一些網(wǎng)絡(luò)應(yīng)用非常發(fā)達(dá)的大型企業(yè)中，架設(shè)用戶后臺(tái)使用IBM WebSphere應(yīng)用，當(dāng)出現(xiàn)問(wèn)題是，運(yùn)維人員會(huì)在多個(gè)交換機(jī)上創(chuàng)建SPAN端口，我們知道Cisco6500系列交換機(jī)只能設(shè)置2個(gè)SPAN端口，這時(shí)如果有多套監(jiān)控系統(tǒng)就無(wú)法同時(shí)使用。而且當(dāng)負(fù)載大時(shí)也無(wú)法使用SPAN，這時(shí)使用矩陣交換機(jī)就可以保證監(jiān)控工具正常運(yùn)行。并且能夠?qū)⒏嗟木W(wǎng)絡(luò)嗅探工具接到上面進(jìn)行分析。矩陣交換機(jī)比起TAP更多的是使用內(nèi)置的過(guò)濾功能，他可以讓運(yùn)維人員選擇特定的數(shù)據(jù)流通過(guò)指定的工具。試想一下在一個(gè)不能過(guò)濾的TAP接口中，一下子會(huì)被來(lái)自萬(wàn)兆通道的數(shù)據(jù)沖垮。使用了矩陣交換機(jī)的過(guò)濾功能就不會(huì)使嗅探器工具過(guò)載。

二、用Netflow分析網(wǎng)絡(luò)異常流量

         隨著各種網(wǎng)絡(luò)應(yīng)用迅速增加，由此帶來(lái)網(wǎng)絡(luò)流量的激增。在這些流量中網(wǎng)絡(luò)用戶的上網(wǎng)行為如何？各種類型的流量如何分布？在這種情況下，可以使用NetFlow這一有效工具以滿足對(duì)網(wǎng)絡(luò)流量管理的需求，這個(gè)工具就是NetFlow。最初NetFlow是由Cisco開發(fā)，由于使用廣泛，目前很多廠家都可以實(shí)現(xiàn)類似NetFlow的功能，如：Juniper、Extreme、Foundry、H3C。對(duì)于Cisco來(lái)說(shuō)，NetFlow有多種版本，如：V5、V7、V8、V9。目前NetFlow V5是主流。因此本文主要針對(duì)NetFlowV5，這一版本數(shù)據(jù)包中的基本元素包含哪些內(nèi)容呢，首先從Flow講起。詳情請(qǐng)參閱《開源安全運(yùn)維平臺(tái)-OSSIM最佳實(shí)踐》。在書中不僅介紹如何部署Netflow系統(tǒng)，如何使用它來(lái)分析異常流量，還詳細(xì)利用另一款開源工具來(lái)分析應(yīng)用層的流量，最后在奉上如何預(yù)防嗅探技術(shù)的方法，全面滿足你的胃口。