網(wǎng)絡(luò)分流器-DPI深度數(shù)據(jù)包檢測(cè)

網(wǎng)絡(luò)分流器-戎騰網(wǎng)絡(luò)-DPI檢測(cè)是當(dāng)前比較流行的網(wǎng)絡(luò)監(jiān)控前端的一種模式,而網(wǎng)絡(luò)分流器對(duì)于網(wǎng)絡(luò)安全的重要性可以說(shuō)是到頭重要的!今天我們來(lái)聊聊DPI檢測(cè)

深度數(shù)據(jù)包檢測(cè)(DPI)

深度數(shù)據(jù)包檢測(cè)(Deep packet inspection，縮寫(xiě)為 DPI)是一種特殊的網(wǎng)絡(luò)技術(shù)，一般網(wǎng)絡(luò)設(shè)備只會(huì)查看以太網(wǎng)頭部、IP頭部而不會(huì)分析TCP/UDP里面的內(nèi)容這種被稱為淺數(shù)據(jù)包檢測(cè);與之對(duì)應(yīng)的DPI會(huì)檢查TCP/UDP里面的內(nèi)容，所以稱為深度數(shù)據(jù)包檢測(cè)。
DPI一般是一個(gè)硬件或者軟件，一般用“旁掛”的方式接入到網(wǎng)絡(luò)。它會(huì)對(duì)網(wǎng)絡(luò)中的每個(gè)數(shù)據(jù)包進(jìn)行檢查，識(shí)別出應(yīng)用層協(xié)議，根據(jù)識(shí)別的協(xié)議采取一定的措施(比如記錄HTTP訪問(wèn)行為)。對(duì)于TCP協(xié)議它可以識(shí)別完整的TCP交互過(guò)程(比如HTTP請(qǐng)求從請(qǐng)求到響應(yīng)中間會(huì)有多次TCP數(shù)據(jù)包發(fā)送)。

戎騰網(wǎng)絡(luò)移動(dòng)互聯(lián)網(wǎng)采集器支持160個(gè)10G和20個(gè)100G

nDPI
nDPI是一個(gè)C語(yǔ)言編寫(xiě)的DPI庫(kù)，用來(lái)實(shí)現(xiàn)軟件DPI系統(tǒng)。它是從OpenDPI擴(kuò)展而來(lái)，二者的架構(gòu)和實(shí)現(xiàn)基本上差不多。
編譯安裝之后它生成/usr/local/lib/libndpi.(a，so)庫(kù)文件(a靜態(tài)庫(kù)文件，so動(dòng)態(tài)鏈接庫(kù));/usr/local/include/會(huì)安裝相關(guān)的頭文件。
我個(gè)人喜歡用 靜態(tài)庫(kù)文件，這樣會(huì)把所有的二進(jìn)制代碼合并到一個(gè)可執(zhí)行文件中運(yùn)行的時(shí)候不需要安裝一大堆庫(kù)。另外我也不喜歡把東西放到/usr/local/lib下，所以我提供的代碼是通過(guò)cmake做了一個(gè)“all in one”的編譯。github上放到是1.6版本的，如果你想更新代碼只要替換src文件夾就行了。

如何用nDPI

nDPI的代碼寫(xiě) 的很爛，也沒(méi)有什么架構(gòu)就是一團(tuán)亂麻(其實(shí)稍微寫(xiě)寫(xiě)都要比這個(gè)好)。但是它至少還能正常工作而且是唯一一個(gè)“開(kāi)放”的DPI庫(kù)，所以無(wú)論什么原因你選擇了它都必須忍受它的“丑陋”。
nDPI幾乎沒(méi)有文檔說(shuō)明，只帶了一個(gè)“ndpiReader”的例子，寫(xiě)的“洋洋灑灑”如行云流水一般(就不吐槽了)。這就是我這篇文章的寫(xiě)作原因，希望能給使用nDPI的同學(xué)一點(diǎn)幫助。

nDPI最重要的一個(gè)數(shù)據(jù)結(jié)構(gòu)是ndpi_detection_module_struct_t它通過(guò)ndpi_init_detection_module構(gòu)造出來(lái)

網(wǎng)絡(luò)分流器
第一個(gè)參數(shù)用來(lái)計(jì)算nDPI分析協(xié)議的各種超時(shí)時(shí)間，一般精確到毫秒就可以了1000(nDPI協(xié)議分析部分和“全局部分”耦合非常緊，這個(gè)數(shù)據(jù)其實(shí)只有“協(xié)議分析模塊”需要)

第二個(gè)、三個(gè)參數(shù)是封裝過(guò)的“內(nèi)存分配”函數(shù);nDPI的內(nèi)存管理非常亂，有些地方是我們自己申請(qǐng)內(nèi)存而由nDPI內(nèi)部幫我們釋放。所以必須nDPI并不直接使用malloc、free之類的申請(qǐng)、釋放內(nèi)存而是交由程序員自己提供函數(shù);

第三個(gè)參數(shù)是調(diào)試函數(shù)，如果定義了NDPI_ENABLE_DEBUG_MESSAGES那么nDPI會(huì)調(diào)用這個(gè)函數(shù)輸出一些調(diào)試信息;

所有的nDPI API都是這種“鬼畜”風(fēng)格，幾乎是各種糾結(jié)。。。萬(wàn)幸我們只需要使用很少的API就可以完成任務(wù)了。

配置協(xié)議分析模塊

nDPI支持多種協(xié)議，都在protocols文件夾中。編譯的時(shí)候所有協(xié)議都會(huì)被放到nDPI庫(kù)中。使用的時(shí)候我們可以自己設(shè)置需要開(kāi)啟那些分析模塊

NDPI_PROTOCOL_BITMASK定義開(kāi)啟協(xié)議的“位圖”，通過(guò)NDPI_BITMASK_ADD函數(shù)可以添加支持的協(xié)議，最后調(diào)用ndpi_set_protocol_detection_bitmask2配置位圖。

ndpi_set_protocol_detection_bitmask2函數(shù)的第一個(gè)參數(shù)就是ndpi_detection_module_struct_t(上面我們初始化的那個(gè)數(shù)據(jù)結(jié)構(gòu));第二個(gè)參數(shù)是位圖標(biāo)志。

特別注意：開(kāi)啟的協(xié)議越多識(shí)別速度越慢;nDPI識(shí)別協(xié)議的時(shí)候是一個(gè)串行結(jié)構(gòu)，無(wú)論是否被成功是被都會(huì)認(rèn)認(rèn)真真遍歷完我們配置好的協(xié)議

子協(xié)議

子協(xié)議是某個(gè)協(xié)議的細(xì)分，比如我們想要分析所有“Google”的HTTP請(qǐng)求那么第一步是分析出“HTTP”請(qǐng)求，第二步是判斷HOST包含google.com。這里的第二步就是“子協(xié)議”。

nDPI唯一的一份“QuickStartGuide”對(duì)這個(gè)有進(jìn)一步解釋，子協(xié)議識(shí)別是以配置文件的方式提供給nDPI的。比如

它還支持端口的方式(TCP的81、8181直接被標(biāo)記為HTTP不再做內(nèi)容檢測(cè))

網(wǎng)絡(luò)分流器

nDPI此處的實(shí)現(xiàn)使用了一個(gè)非常有名的算法—— Aho-Corasick。以第一幅圖為例子，里面配置了兩條規(guī)則“Google”和“Veneer”，我們有一個(gè)字符串(HOST)，怎么判斷這個(gè)字符串符合那個(gè)規(guī)則呢?最簡(jiǎn)單的辦法是循環(huán)所有的規(guī)則，如果規(guī)則條目很多那么速度會(huì)非常慢。Aho-Corasick就是這樣一種算法，它可以在O(n)中完成所有的匹配任務(wù)。

通過(guò)ndpi_load_protocols_file函數(shù)加載“子協(xié)議”。

開(kāi)始識(shí)別

識(shí)別協(xié)議的API非常簡(jiǎn)單——ndpi_detection_process_packet函數(shù)。就是這個(gè)坑爹的函數(shù)，變態(tài)程度幾乎可以說(shuō)用令人發(fā)指來(lái)形容。

ndpi_struct全局的結(jié)構(gòu)體
flow比較特殊，我們后面講
packet指向IP頭部的指針
packetlen數(shù)據(jù)包大小
current_tick_l當(dāng)前時(shí)間(精確到毫秒)用于判斷“過(guò)期的TCP請(qǐng)求”
src，dst其實(shí)沒(méi)有什么用途，文檔上說(shuō)是跟狀態(tài)機(jī)有關(guān)其實(shí)沒(méi)有半毛錢關(guān)系。唯一的用途是更新“分析協(xié)議”的配置。一般設(shè)置為NULL就行了
TCP協(xié)議是一個(gè)流(flow)式的協(xié)議，經(jīng)過(guò)從三次握手開(kāi)始通訊雙方都是“請(qǐng)求->響應(yīng)”的結(jié)構(gòu)。DPI可以跟蹤其中的一個(gè)或者幾個(gè)數(shù)據(jù)包，也可以實(shí)現(xiàn)全部跟蹤(后續(xù)我會(huì)交叉使用TCP會(huì)話、會(huì)話、flow，三個(gè)名詞其實(shí)是一樣的)。

nDPI內(nèi)部不會(huì)記錄完整的TCP數(shù)據(jù)包，而是用一個(gè)定義非常模糊的ndpi_flow_struct類型來(lái)表示一個(gè)TCP會(huì)話(這個(gè)數(shù)據(jù)結(jié)構(gòu)還包含了“協(xié)議分析”部分?jǐn)?shù)據(jù)，所以定義非常模糊)。為了便于分析完整的TCP請(qǐng)求我們定義了一個(gè)自己的數(shù)據(jù)結(jié)構(gòu)dpi_flow_t，ndpi_flow_struct作為它的一個(gè)成員。用偽代碼表示分析過(guò)程：

落到代碼上就是get_ndpi_flow函數(shù);實(shí)現(xiàn)上我們會(huì)對(duì)目標(biāo)、源端口排序再做hash;這是由于數(shù)據(jù)包是“相互通訊”的所以發(fā)送方、接收方是相對(duì)而言，否則識(shí)別到的可能是“一方”的數(shù)據(jù)。

一般我們用一個(gè)二叉樹(shù)存放所有正在分析的TCP會(huì)話，nDPI移植了FreeBSD中的一組函數(shù)ndpi_tfind、ndpi_tsearch、ndpi_twalk、ndpi_tdelete等用來(lái)實(shí)現(xiàn)常用的數(shù)據(jù)結(jié)構(gòu)操作。