大數據安全技術在信息安全領域的應用之安全檢測與大數據的融合

在大數據滔滔來襲的背景下，人們的關注點逐漸從如何掌握龐大的數據信息，轉向如何實現對這些數據的深層挖掘，進而讓其增值。通過大量信息的整合與海量數據的分析，企業(yè)能夠更深入地了解自身業(yè)務，實現新需求洞察，更好地做出商業(yè)決策。

在這里小編建了一個大數據學習交流扣扣群：529867072，我自己整理的最新的大數據進階資料和高級開發(fā)教程，如果有想需要的，可以加群一起學習交流
圖片描述

對企業(yè)而言，信息安全是為信息化服務的，而信息化又服務于業(yè)務增長。因此，利用大數據提升企業(yè)信息安全防護水平，能夠間接為企業(yè)帶來效益。大數據在信息安全領域的應用將演化為 IT 商業(yè)智能發(fā)展趨勢的一部分，即安全數據和業(yè)務數據的結合能夠為企業(yè)提供更可靠的策略依據，幫助企業(yè)判斷各種潛在威脅，預測業(yè)務發(fā)展趨勢。

本文圍繞大數據在安全檢測、數據挖掘、網絡感知、視頻監(jiān)控4個方面的應用介紹相關的技術，包括安全檢測與大數據整合技術、面向安全大數據的挖掘技術、基于大數據的網絡態(tài)勢感知技術、視頻監(jiān)控數據的挖掘技術，力求使大家了解大數據在信息安全領域的應用情況。

安全檢測與大數據的融合

安全檢測與大數據的融合能夠及時發(fā)現潛在的威脅，提供安全分析與趨勢預測，加強應對威脅的能力。需要首先對數據進行分類、過濾與篩選，其次采用信息安全檢測技術對系統(tǒng)環(huán)境和數據環(huán)境進行檢測，然后通過關聯(lián)分析和數據挖掘構建安全威脅模型，經過數據分析預測安全趨勢。

1、數據提煉與處理

在收集到原始海量數據后，需要對數據進行分類、過濾、篩選等提煉與處理操作。應當根據數據的敏感程度、影響范圍、應用場景，以及業(yè)務合作的數據需求，對數據進行分級分類的預處理。然后過濾敏感數據、保密數據、非法數據，得到有價值的可使用的數據。數據過濾與篩選需要達到的性能要求包括海量處理規(guī)模、多字段過濾、智能篩選、高效過濾等。因此，針對大數據的智能過濾和內容審計，能夠快速便捷地匹配大量自定義的關鍵字、詞，智能過濾去違反國家法律法規(guī)以及侵犯用戶權益的內容，確保信息內容的安全。

（1）關鍵字、詞智能匹配

大數據的智能匹配要求用戶輸入關鍵字、詞后，系統(tǒng)能夠自動匹配，計算出有關該字詞的相關信息。同時保證用戶定義的關鍵詞數目不限，可以并發(fā)支持百萬級別的關鍵詞。依據Google、百度等公司定義的關鍵字匹配方式，大數據智能匹配大致有廣泛匹配、詞組匹配、精準匹配、多關鍵字匹配等方式。

● 廣泛匹配可以對關鍵字的任一順序進行匹配，對包含其他字詞的查詢也能觸發(fā)，并且對相似字詞（包括復數形式和同義詞）也能觸發(fā)。

● 詞組匹配只有搜索字詞同詞組順序完全匹配時才觸發(fā)，并且允許詞組周圍存在其他搜索字詞。

● 精準匹配只會對完全匹配的關鍵字進行觸發(fā)，限制觸發(fā)范圍，減少觸發(fā)次數。

● 多關鍵字匹配是從大量數據中快速匹配多個關鍵字（多個模式）的技術，需要對文本進行預先處理。

（2）智能邏輯關系運算

大數據的智能邏輯關系運算應支持關鍵字、詞復雜匹配，包括常用的“與、或、非”，同時支持“NEAR”臨近關系的復雜算法。按照用戶自定義的類別體系分類整理過濾出的信息內容，根據自身業(yè)務的特點，自定義內容過濾體系，將自定義的類別輸出。

（3）樣本機器學習

在沒有關鍵詞的時候，機器通過自動學習技能，達到對信息文本的相似類劃分。由大數據環(huán)境提供信息，學習部分則實現信息轉換，用能夠理解的形式記憶下來，并從中獲取有用的信息。學習過程與推理過程是緊密相連的，按照學習中使用推理的多少，機器學習所采用的策略大體上可分為4種：機械學習、通過傳授學習、類比學習和通過事例學習。學習中所用的推理越多，系統(tǒng)的能力越強。