我所理解的未知威脅大數(shù)據(jù)安全架構(gòu)

 關(guān)于大數(shù)據(jù)安全的架構(gòu)，先需要回答如下幾個(gè)問題：

 1、采用什么大數(shù)據(jù)工具或大數(shù)據(jù)生態(tài)圈來(lái)支撐整個(gè)結(jié)構(gòu)

 2、我們需要收集什么樣的數(shù)據(jù)來(lái)分析相關(guān)安全問題

 3、需要采用什么樣的AI算法來(lái)支撐無(wú)特征威脅的分析

 4、采用什么樣的分類、形式來(lái)展示相關(guān)安全問題

 5、怎么樣對(duì)安全問題進(jìn)行響應(yīng)以形成相關(guān)閉環(huán)，進(jìn)而提升解決安全問題的能力

 對(duì)于上述問題我是這么理解的（僅就個(gè)人觀點(diǎn)而言）：

 1、推薦采用基于Spark的大數(shù)據(jù)生態(tài)圈來(lái)實(shí)施（ELK結(jié)構(gòu)當(dāng)然也可以，但ElasticSearch本身并沒有類似MapReduce能力；Logstash的單機(jī)性能實(shí)在堪憂）；即使用Flume或自我開發(fā)的LogParser作為日志標(biāo)準(zhǔn)化工具對(duì)日志進(jìn)行元數(shù)據(jù)分解，應(yīng)用Kafka作為日志傳遞工具，使用Spark RDD進(jìn)行相關(guān)分析，SparkR或MLlib作為機(jī)器學(xué)習(xí)工具，Mesos作為資源調(diào)度器，Zookeeper作為HA工具（如果需要的話），HDFS作為最終的處理存儲(chǔ)工具；

 2、需要收集PCAP、經(jīng)分析的網(wǎng)絡(luò)元數(shù)據(jù)（主要為網(wǎng)絡(luò)會(huì)話信息，包括應(yīng)用協(xié)議信息，如DNS、HTTP/HTTPS、SMTP/IMAP/POP3、SSH、SSL/TLS、Telnet等，特別對(duì)于可能存在反彈連接的情況）、IDS/IPS、防火墻（其實(shí)已經(jīng)不太必要）、操作系統(tǒng)自身運(yùn)行（含端口、進(jìn)程信息）、服務(wù)器數(shù)據(jù)庫(kù)/NoSQL、中間件、防毒網(wǎng)關(guān)/軟件（含沙箱執(zhí)行結(jié)果）、其它應(yīng)用（主要是用戶使用或自研的系統(tǒng)）等等；需建立用戶和終端的對(duì)應(yīng)關(guān)系；至于各類系統(tǒng)的漏洞到底是否需要采集，這個(gè)可能不一定，因?yàn)楝F(xiàn)在多數(shù)都是使用0day進(jìn)行***，即使掃出了漏洞也未必管用；

 3、在Spark中，AI算法主要包含四類：回歸、分類、聚類（無(wú)監(jiān)督）、協(xié)同過(guò)濾，我認(rèn)為可能安全問題主要聚焦在分類和聚類上，特別對(duì)于聚類而言（不能指望用戶懂的太多，所以無(wú)監(jiān)督的最好），我們只需要知道好和不好的就可以了；舉例而言，可以對(duì)于某個(gè)終端的行為進(jìn)行畫像，即對(duì)其網(wǎng)絡(luò)行為（連入/連出）、系統(tǒng)行為（端口、服務(wù)信息）、應(yīng)用行為（登錄的應(yīng)用系統(tǒng)及其動(dòng)作，這個(gè)需要采集相關(guān)應(yīng)用系統(tǒng)日志；郵件收發(fā)情況等）；

 4、至于采用什么形式來(lái)展現(xiàn)安全問題，這個(gè)就太多了，具體可參考Splunk相關(guān)樣例，但需要注意的是不要讓用戶干的太多，但對(duì)于每個(gè)問題還是可以追溯、導(dǎo)出其原始內(nèi)容，以方便取證（Forensics）；

 5、當(dāng)然對(duì)于一般安全問題的處理可以使用工單/短信/郵件等形式進(jìn)行通知、流轉(zhuǎn)、處理，但在緊急情況下可以直接通過(guò)應(yīng)用網(wǎng)關(guān)進(jìn)行阻斷（確認(rèn)確實(shí)是100%安全問題，為什么不使用防火墻阻斷，讀者可以想想）。