淺談大數(shù)據(jù)下的企業(yè)安全管理平臺(tái)

隨著信息技術(shù)的快速發(fā)展和廣泛應(yīng)用，物聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算等新技術(shù)的出現(xiàn)，催生互聯(lián)網(wǎng)新產(chǎn)品和新模式不斷涌現(xiàn)。以金融行業(yè)為例，網(wǎng)上銀行、網(wǎng)上交易、互聯(lián)網(wǎng)金融等新技術(shù)的產(chǎn)生，給人們帶來(lái)了極大便利的同時(shí)，也帶來(lái)了諸多安全問(wèn)題。當(dāng)前計(jì)算機(jī)網(wǎng)絡(luò)與信息安全領(lǐng)域，正面臨著一場(chǎng)全新的挑戰(zhàn)。一方面，伴隨大數(shù)據(jù)和云計(jì)算時(shí)代的到來(lái)，安全問(wèn)題正在變成一個(gè)大數(shù)據(jù)問(wèn)題，企業(yè)和組織的網(wǎng)絡(luò)及信息系統(tǒng)每天都在產(chǎn)生大量的安全數(shù)據(jù)，并且產(chǎn)生的速度越來(lái)越快。另一方面，國(guó)家、企業(yè)和組織所面對(duì)的網(wǎng)絡(luò)空間安全形勢(shì)嚴(yán)峻，需要應(yīng)對(duì)的***和威脅變得日益復(fù)雜，這些威脅具有隱蔽性強(qiáng)、潛伏期長(zhǎng)、持續(xù)性強(qiáng)的特點(diǎn)。
面對(duì)這些新挑戰(zhàn)，傳統(tǒng)的企業(yè)安全管理平臺(tái)局限性顯露無(wú)遺，主要體現(xiàn)在以下幾個(gè)方面：

• 海量數(shù)據(jù)的處理
  企業(yè)安全管理平臺(tái)管理涉及企業(yè)網(wǎng)絡(luò)中的各種安全設(shè)備、網(wǎng)絡(luò)設(shè)備、應(yīng)用系統(tǒng)等，每天會(huì)產(chǎn)生大量的安全事件和運(yùn)行日志等安全數(shù)據(jù)，其數(shù)據(jù)量可能非常巨大。面對(duì)海量的安全數(shù)據(jù)，安全管理人員很難從中發(fā)現(xiàn)有價(jià)值的信息；另一方面，面對(duì)海量數(shù)據(jù)時(shí)，傳統(tǒng)的企業(yè)安全管理平臺(tái)技術(shù)架構(gòu)在數(shù)據(jù)采集、存儲(chǔ)、分析處理和展現(xiàn)方面也遭遇不同瓶頸。
• 多源異構(gòu)數(shù)據(jù)采集
  企業(yè)網(wǎng)絡(luò)中的各種安全設(shè)備、網(wǎng)絡(luò)設(shè)備、應(yīng)用系統(tǒng)等均可能涉及不同種類不同廠家，由于各設(shè)備的產(chǎn)品差異性，企業(yè)安全管理平臺(tái)面對(duì)的安全數(shù)據(jù)在結(jié)構(gòu)和格式上均不統(tǒng)一，給數(shù)據(jù)分析帶來(lái)困難。這一問(wèn)題造成企業(yè)安全管理平臺(tái)數(shù)據(jù)采集效率降低，從而導(dǎo)致性能上遇到瓶頸。
• 安全數(shù)據(jù)分散和孤立
  企業(yè)網(wǎng)絡(luò)中的各種安全設(shè)備、網(wǎng)絡(luò)設(shè)備、應(yīng)用系統(tǒng)等會(huì)分散在網(wǎng)絡(luò)的不同位置，如果各個(gè)數(shù)據(jù)之間缺乏有效的關(guān)聯(lián)，則會(huì)導(dǎo)致安全信息的孤立，形成信息孤島，無(wú)法對(duì)大量數(shù)據(jù)進(jìn)行整體性的分析。目前網(wǎng)絡(luò)中的***行為一般都是分段式的***方式，每個(gè)步驟都可能由不同的安全設(shè)備監(jiān)測(cè)發(fā)現(xiàn)并存在于不同日志當(dāng)中，如果僅對(duì)單獨(dú)設(shè)備安全日志進(jìn)行分析則難以發(fā)現(xiàn)完整***行為。為了提高安全數(shù)據(jù)分析的準(zhǔn)確性，就需要通過(guò)基于大數(shù)據(jù)的事件關(guān)聯(lián)分析，找出多條報(bào)警之間的相關(guān)性，從中發(fā)現(xiàn)潛在的威脅行為或***行為。
• 缺乏深度挖掘手段
  當(dāng)前網(wǎng)絡(luò)環(huán)境中新型***手段層出不窮，與傳統(tǒng)***手段不同，新型***手段更加隱蔽，用傳統(tǒng)檢測(cè)方法更加難以發(fā)現(xiàn)，比如APT***。面對(duì)新型***手段的長(zhǎng)期性、隱蔽性和高級(jí)性，傳統(tǒng)的基于實(shí)時(shí)分析的監(jiān)控技術(shù)已經(jīng)不再適應(yīng)，為了防止新型***手段造成的危害，有必要對(duì)歷史安全數(shù)據(jù)進(jìn)行深層的離線挖掘，從大量的歷史數(shù)據(jù)之中發(fā)現(xiàn)新型***行為的端倪，從而防患于未然。
  以上問(wèn)題，可以用一句話來(lái)總結(jié)，即海量、多源異構(gòu)、分散獨(dú)立的安全數(shù)據(jù)，給傳統(tǒng)的企業(yè)安全管理平臺(tái)帶來(lái)了分析、存儲(chǔ)、檢索上的諸多難題。由此看來(lái)，新一代企業(yè)安全管理平臺(tái)應(yīng)該以大數(shù)據(jù)平臺(tái)架構(gòu)為支撐，支持超大數(shù)據(jù)量的采集、融合、存儲(chǔ)、檢索、分析、態(tài)勢(shì)感知和可視化，將過(guò)去分散的安全信息進(jìn)行集成與關(guān)聯(lián)，獨(dú)立的分析方法和工具進(jìn)行整合形成交互，從而實(shí)現(xiàn)智能化的安全分析與決策，將機(jī)器學(xué)習(xí)、數(shù)據(jù)挖據(jù)等技術(shù)應(yīng)用于安全分析，并且要更快更好地的進(jìn)行安全決策。大數(shù)據(jù)的發(fā)展給企業(yè)安全管理平臺(tái)帶來(lái)了新的挑戰(zhàn)，但是其催生出的大數(shù)據(jù)技術(shù)也給企業(yè)安全管理平臺(tái)帶來(lái)機(jī)遇和全新的活力。
  何為大數(shù)據(jù)？
  大數(shù)據(jù)的通俗定義為“用現(xiàn)有的一般技術(shù)難以管理的大量數(shù)據(jù)的集合”，廣義定義為“一個(gè)綜合性概念，它包括因具備4V（海量/多樣/快速/價(jià)值，Volume/Variety/Velocity/Value）特征而難以進(jìn)行管理的數(shù)據(jù)，對(duì)這些數(shù)據(jù)進(jìn)行存儲(chǔ)、處理、分析的技術(shù)，以及能夠通過(guò)分析這些數(shù)據(jù)獲得實(shí)用意義和觀點(diǎn)的人才和組織?！?
  大數(shù)據(jù)具有四個(gè)重要特征（即4V特點(diǎn)）：Volume（海量）、Variety（多樣）、Velocity（快速）、Value（價(jià)值）。
  Volume指的是數(shù)據(jù)量規(guī)模巨大到無(wú)法通過(guò)目前主流軟件工具進(jìn)行有效處理和分析，所以有必要變更傳統(tǒng)的數(shù)據(jù)處理和分析方法。
  Variety指的是數(shù)據(jù)來(lái)源廣、形式多樣，包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)，非結(jié)構(gòu)數(shù)據(jù)的增長(zhǎng)速度比結(jié)構(gòu)化數(shù)據(jù)的增長(zhǎng)速度更快，并且具有十分可觀的利用價(jià)值，對(duì)其進(jìn)行分析可以揭露出以前很難或無(wú)法確定的重要信息。
  Velocity是指相對(duì)于傳統(tǒng)數(shù)據(jù)處理系統(tǒng)而言，大數(shù)據(jù)分析系統(tǒng)對(duì)實(shí)時(shí)性的要求更高，需要在很短的時(shí)間內(nèi)完成計(jì)算，否則得出的結(jié)果將是過(guò)時(shí)的、無(wú)效的。
  Value是指大數(shù)據(jù)是有價(jià)值的，但在海量數(shù)據(jù)當(dāng)中，真正有價(jià)值有意義的只是很少一部分。
  大數(shù)據(jù)在信息安全上的應(yīng)用
  大數(shù)據(jù)在信息安全上的應(yīng)用主要表現(xiàn)為，數(shù)據(jù)的爆炸性增長(zhǎng)給目前的信息安全技術(shù)帶來(lái)了挑戰(zhàn)，傳統(tǒng)的信息安全技術(shù)在面對(duì)超大數(shù)據(jù)量時(shí)已經(jīng)不再適宜，需要基于大數(shù)據(jù)環(huán)境的特點(diǎn)開(kāi)發(fā)新一代安全技術(shù)。目前流行的安全實(shí)踐主要是依賴于邊界防御，依賴于需要預(yù)定網(wǎng)絡(luò)威脅知識(shí)的靜態(tài)安全控制措施。但是這種安全實(shí)踐在應(yīng)對(duì)目前極度延伸的、基于云的、移動(dòng)性極強(qiáng)的商業(yè)世界來(lái)說(shuō)，已經(jīng)不太適宜了?；谶@個(gè)背景，業(yè)界開(kāi)始將信息安全的研究重點(diǎn)轉(zhuǎn)向智能驅(qū)動(dòng)的信息安全模型，這是一種能夠感知風(fēng)險(xiǎn)的、基于上下文背景的、靈活的、能幫助企業(yè)抵御未知高級(jí)網(wǎng)絡(luò)威脅的模型。而這種由大數(shù)據(jù)分析工具支持的、智能驅(qū)動(dòng)的信息安全方法可以融合動(dòng)態(tài)的風(fēng)險(xiǎn)評(píng)估、巨量安全數(shù)據(jù)的分析、自適應(yīng)的控制措施以及有關(guān)網(wǎng)絡(luò)威脅和***技術(shù)的信息共享。其次，大數(shù)據(jù)理念可以被利用到信息安全技術(shù)中來(lái)，比如通過(guò)大數(shù)據(jù)分析可以對(duì)海量的網(wǎng)絡(luò)安全數(shù)據(jù)進(jìn)行快速有效的關(guān)聯(lián)分析，從中找出與網(wǎng)絡(luò)安全相關(guān)的信息?？梢灶A(yù)測(cè)，將大數(shù)據(jù)集成至安全實(shí)踐，將會(huì)極大地增強(qiáng)對(duì)IT環(huán)境的可視性，提高鑒別正?；顒?dòng)和可疑活動(dòng)的能力，從而幫助確保IT系統(tǒng)的可信性，并大大提高安全事件響應(yīng)能力。
  大數(shù)據(jù)安全分析
  大數(shù)據(jù)安全分析，顧名思義，就是指利用大數(shù)據(jù)技術(shù)來(lái)進(jìn)行安全分析。借助大數(shù)據(jù)安全分析技術(shù)，能夠更好地解決海量安全數(shù)據(jù)的采集、存儲(chǔ)的問(wèn)題，借助基于大數(shù)據(jù)分析技術(shù)的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖據(jù)算法，能夠更加智能地洞悉信息與網(wǎng)絡(luò)安全的態(tài)勢(shì)，更加主動(dòng)、彈性地去應(yīng)對(duì)新型復(fù)雜的威脅和未知多變的風(fēng)險(xiǎn)。
  在網(wǎng)絡(luò)安全領(lǐng)域，大數(shù)據(jù)安全分析是企業(yè)安全管理平臺(tái)安全事件分析的核心技術(shù)，而大數(shù)據(jù)安全分析對(duì)安全數(shù)據(jù)處理效果主要依賴于分析方法。但當(dāng)應(yīng)用到網(wǎng)絡(luò)安全領(lǐng)域的時(shí)候，還必須考慮到安全數(shù)據(jù)自身的特點(diǎn)和安全分析的目標(biāo)，這樣大數(shù)據(jù)安全分析的應(yīng)用才更有價(jià)值。
  大數(shù)據(jù)分析在企業(yè)安全管理平臺(tái)上的應(yīng)用
  目前應(yīng)用于大數(shù)據(jù)分析的主流技術(shù)架構(gòu)是Hadoop，業(yè)界在進(jìn)行大數(shù)據(jù)分析時(shí)越來(lái)越重視它的作用。Hadoop的HDFS技術(shù)和HBase技術(shù)與大數(shù)據(jù)的超大容量存儲(chǔ)需求正好匹配，Hadoop的MapReduce技術(shù)也能滿足大數(shù)據(jù)的快速實(shí)時(shí)分析需求。
  基于前面介紹過(guò)的傳統(tǒng)企業(yè)安全管理平臺(tái)面對(duì)的挑戰(zhàn)和局限性問(wèn)題，可以把Hadoop技術(shù)應(yīng)用在企業(yè)安全管理平臺(tái)中，發(fā)展成為新一代的企業(yè)安全管理平臺(tái)，實(shí)現(xiàn)支持超大數(shù)據(jù)量的采集、融合、存儲(chǔ)、檢索、分析、態(tài)勢(shì)感知和可視化功能。
  使用Hadoop架構(gòu)的新一代企業(yè)安全管理平臺(tái)具有以下特點(diǎn)：
  可擴(kuò)展性：支持動(dòng)態(tài)增加和刪除系統(tǒng)節(jié)點(diǎn)，集群搭建方式靈活可控。
  高效性：以分布式文件系統(tǒng)進(jìn)行存儲(chǔ)數(shù)據(jù)，支持海量數(shù)據(jù)的快速讀/寫(xiě)、查詢操作；采用分布式計(jì)算進(jìn)行數(shù)據(jù)分析與業(yè)務(wù)操作，各業(yè)務(wù)節(jié)點(diǎn)獨(dú)立計(jì)算互不干，節(jié)點(diǎn)數(shù)量越多運(yùn)算速度越快。
  可靠性：系統(tǒng)自動(dòng)容災(zāi)(HA)；采用主-從機(jī)制(Master-Slave)進(jìn)行集群搭建，系統(tǒng)內(nèi)節(jié)點(diǎn)間數(shù)據(jù)互相實(shí)時(shí)備份，當(dāng)節(jié)點(diǎn)宕機(jī)時(shí)直接切換至備份節(jié)點(diǎn)，運(yùn)算單元宕機(jī)時(shí)直接切換至備份運(yùn)算節(jié)點(diǎn)。
  低成本：對(duì)系統(tǒng)中各節(jié)點(diǎn)設(shè)備硬件要求不高，而且Java技術(shù)開(kāi)發(fā)可跨平臺(tái)，相關(guān)技術(shù)是開(kāi)源的。
  總之，與傳統(tǒng)架構(gòu)的企業(yè)安全管理平臺(tái)相比，采用Hadoop的下一代企業(yè)安全管理平臺(tái)能大大提升數(shù)據(jù)分析的運(yùn)算速度，降低運(yùn)算代價(jià)，提高數(shù)據(jù)安全性，為用戶靈活提供各種分析引擎與分析手段。

綜上所述，可以看出借助大數(shù)據(jù)分析框架及大數(shù)據(jù)安全分析技術(shù)，能夠很好地解決傳統(tǒng)企業(yè)安全管理平臺(tái)的安全數(shù)據(jù)采集、分析、存儲(chǔ)、檢索問(wèn)題。從長(zhǎng)遠(yuǎn)來(lái)看，未來(lái)的企業(yè)安全管理平臺(tái)還應(yīng)通過(guò)對(duì)基于大數(shù)據(jù)分析技術(shù)的機(jī)器學(xué)習(xí)、數(shù)據(jù)挖據(jù)算法、可視化分析及智能化分析等新技術(shù)的研究，完善企業(yè)安全管理平臺(tái)功能，使其能夠更加智能地分析網(wǎng)絡(luò)安全態(tài)勢(shì)，從而更加主動(dòng)、彈性地去應(yīng)對(duì)新型復(fù)雜的威脅和未知多變的風(fēng)險(xiǎn)。但是，不論企業(yè)安全管理平臺(tái)的技術(shù)如何發(fā)展，如何與大數(shù)據(jù)結(jié)合，企業(yè)安全管理平臺(tái)所要解決的客戶根本性問(wèn)題，以及與客戶業(yè)務(wù)融合的趨勢(shì)依然未變。對(duì)大數(shù)據(jù)的應(yīng)用依然要服務(wù)于解決客戶的實(shí)際安全管理問(wèn)題這個(gè)根本目標(biāo)。