Flink中CEP指的是什么意思

復(fù)雜事件處理(CEP)既是把不同的數(shù)據(jù)看做不同的事件，并且通過分析事件之間的關(guān)系建立起一套事件關(guān)系序列庫。利用過濾，聚合，關(guān)聯(lián)性，依賴，層次等技術(shù)，最終實(shí)現(xiàn)由簡單關(guān)系產(chǎn)生高級(jí)事件關(guān)系。

復(fù)雜事件處理當(dāng)前主要用于信用卡欺詐檢測、用戶風(fēng)險(xiǎn)檢測、設(shè)備故障檢測、攻擊行為分析等領(lǐng)域。

Apache Flink中基于DataSet Api提供了FlinkCEP的組件棧，專門應(yīng)用于復(fù)雜事件處理方向。Apache Flink另外也為機(jī)器學(xué)習(xí)方向提供了Flink ML和圖計(jì)算方向的Gelly組件棧。今天主要來看一下Flink CEP。

基本概念

1. 事件定義
• 簡單事件      
  簡單事件的特點(diǎn)基本上是唯一事件,可以簡單的通過數(shù)據(jù)就可以觀察到事件。而不存在與需要查看多個(gè)事件之間的關(guān)系而能夠判定的事件規(guī)則。      
  例如某一指標(biāo)發(fā)生次數(shù)超過一定閾值后則進(jìn)行告警。直接通過查詢一定時(shí)間范圍內(nèi)該事件產(chǎn)生的次數(shù)即可進(jìn)行計(jì)算。并且輸出結(jié)果。
• 復(fù)雜事件      
  基于簡單事件的組合而成復(fù)雜事件，復(fù)雜事件相對于簡單事件就不是唯一的事件。它通過處理多個(gè)事件組成，復(fù)雜事件當(dāng)特定的事件流發(fā)生時(shí)才會(huì)進(jìn)行某些動(dòng)作的觸發(fā)，通知、告警、觸發(fā)其他事件等。
2. 事件關(guān)系    
   只有復(fù)雜事件才會(huì)有事件之間的關(guān)系，復(fù)雜事件之間的關(guān)系包括多種類型。例如有     時(shí)序關(guān)系、聚合關(guān)系、層次關(guān)系、因果關(guān)系、抽象關(guān)系或依賴關(guān)系等。
• 時(shí)序關(guān)系      
  事件與事件之間都會(huì)存在時(shí)序關(guān)系，例如：A事件發(fā)生時(shí)B事件的狀態(tài)隨A事件的改變而改變。
• 聚合關(guān)系      
  個(gè)體事件的聚合關(guān)系，例如當(dāng)A事件的次數(shù)發(fā)生30次以上則觸發(fā)告警信息。
• 層次關(guān)系      
  例如A事件是B事件的父類，從A類事件到B類時(shí)間是具體化的。
• 依賴關(guān)系      
  例如A事件的產(chǎn)生依賴與B事件的觸發(fā)。否則不會(huì)觸發(fā)A事件。則說明A事件依賴與B事件的觸發(fā)。
• 因果關(guān)系 例如B事件的觸發(fā)是因?yàn)锳事件的狀態(tài)發(fā)生了改變，則A的改變則為因，B的觸發(fā)即為果。有因才有果!
3. 事件處理 復(fù)雜事件處理目的是通過相應(yīng)的規(guī)則引擎來對實(shí)時(shí)數(shù)據(jù)做相應(yīng)的數(shù)據(jù)處理策略。這些策略包括了     推斷、根因、決策、預(yù)測等內(nèi)容。
• 事件推斷      
  主要用于事件狀態(tài)之間的約束關(guān)系，通過一部分的狀態(tài)從而推斷出另一部分的狀態(tài)。
• 事件根因      
  當(dāng)有了結(jié)果之后，并且知道初始狀態(tài)，可以查到造成該結(jié)果的某個(gè)具體動(dòng)作的原因。
• 事件決策      
  得到結(jié)果的狀態(tài)，知道初始狀態(tài)，從而決定要執(zhí)行的操作。
• 事件預(yù)測      
  該種情況知道初始狀態(tài)，以及要發(fā)生的動(dòng)作，預(yù)測未知的結(jié)果。

CEP常用場景

Flink CEP能夠利用的場景較多，在實(shí)際業(yè)務(wù)場景中也有了廣泛的使用案例與經(jīng)驗(yàn)積累。CEP常用與網(wǎng)絡(luò)攻擊檢測、風(fēng)控模型、信用卡欺詐等。

• 網(wǎng)絡(luò)攻擊檢測    
  基于實(shí)時(shí)的數(shù)據(jù)流來進(jìn)行網(wǎng)絡(luò)攻擊檢測。例如常見的拖庫行為產(chǎn)生的突發(fā)SQL掃描或網(wǎng)絡(luò)帶寬突增均能通過CEP來進(jìn)行判定。    
  例如常見規(guī)則：當(dāng)帶寬突增、數(shù)據(jù)庫資源用量突然變高時(shí)直接進(jìn)行預(yù)警。
• 網(wǎng)絡(luò)信貸    
  基于CEP構(gòu)建的信用卡欺詐或當(dāng)前的互聯(lián)網(wǎng)貸款等。之前的貸款審批流程都是天級(jí)，當(dāng)前的互聯(lián)網(wǎng)貸款都是小時(shí)級(jí)甚至分鐘級(jí)放款。而基于此基本都是通過CEP來實(shí)現(xiàn)用戶的信用評分。例如實(shí)時(shí)導(dǎo)入用戶的相關(guān)信息， 年齡，身份證號(hào)，芝麻信用分等等。規(guī)則或?yàn)? 年齡 < 65 ,有房產(chǎn) ,無不良債務(wù)等