大數(shù)據(jù)安全規(guī)范的示例分析

這篇文章將為大家詳細講解有關(guān) 大數(shù)據(jù)安全規(guī)范的示例分析，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關(guān)知識有一定的了解。

大數(shù)據(jù)安全規(guī)范

一、概述

大數(shù)據(jù)的安全體系分為五個層次：周邊安全、數(shù)據(jù)安全、訪問安全(認證 - authentication和授權(quán) - authorization)、訪問行為可見、錯誤處理和異常管理。下面依次說明：

1.周邊安全技術(shù)即傳統(tǒng)意義上提到的網(wǎng)絡(luò)安全技術(shù)，如防火墻等;

2.數(shù)據(jù)安全包括對數(shù)據(jù)的加解密,又可細分為存儲加密和傳輸加密;還包括對數(shù)據(jù)的脫敏;

3.訪問安全主要是對用戶的認證和授權(quán)兩個方面：

用戶認證(Authentication)
即是對用戶身份進行核對， 確認用戶即是其聲明的身份， 這里包括用戶和服務(wù)的認證

用戶授權(quán)(Authorization)

即是權(quán)限控制，對特定資源， 特定訪問用戶進行授權(quán)或拒絕訪問。用戶授權(quán)是建立再用戶認證的基礎(chǔ)上，沒有可靠的用戶認證談不上用戶授權(quán)。

訪問安全還包括數(shù)據(jù)驗證(data validation)

1> type.   int string等
2> format. phone email等
3> length.
4> range.
5> precense or absence.
6> match in lookup tables.
7> other bussiness rules 

4.訪問行為可見多指記錄用戶對系統(tǒng)的訪問行為(審計和日志)：如查看哪個文件;運行了哪些查詢;訪問行為監(jiān)控一方面為了進行實時報警,迅速處置危險的訪問行為;另一方面為了事后調(diào)查取證，從長期的數(shù)據(jù)訪問行為中分析定位特定的目的。

 5.錯誤處理和異常管理

這個主要是針對錯誤發(fā)現(xiàn)，一般做法是建立并逐步完善的監(jiān)控系統(tǒng)，對可能發(fā)生或已發(fā)生的情況進行預(yù)警或者告警。還包括異常攻擊事件監(jiān)測，目前發(fā)現(xiàn)的針對攻擊的辦法有:

1>攻擊鏈分析，按照威脅檢測的時間進行分析，描述攻擊鏈條

2>相同類型的攻擊事件進行合并統(tǒng)計

3>異常流量學(xué)習(xí)正常訪問流量，流量異常時進行告警

在這五個層次中，第三層(訪問安全)同業(yè)務(wù)的關(guān)系最為直接：應(yīng)用程序的多租戶,分權(quán)限訪問控制都直接依賴這一層的技術(shù)實現(xiàn),那么我們的重點也將放在這一層上。眾所周知的是, hadoop本身提供的認證(主要是kerberos)不易維護，授權(quán)(主要是ACL)又很粗粒度，為此我們通過對兩個重量級公司(Cloudera和Hortonworks)開源的關(guān)于安全的服務(wù)進行對比(參見博文)后決定使用Hortonworks開源的Ranger。 Ranger為企業(yè)級hadoop生態(tài)服務(wù)提供了許多安全套件，通過集中化權(quán)限管理為用戶/組提供文件、文件夾、數(shù)據(jù)庫、表及列的認證、授權(quán)控制，還可以提供審計(通過solr進行查詢)，新推出的RangerKMS還支持對hdfs數(shù)據(jù)加密等

二、大數(shù)據(jù)平臺安全規(guī)范之訪問安全

2.1用戶身份認證

通過Ranger提供的用戶/組同步功能實現(xiàn)認證，Ranger可以整合Unix或者LDAP進行用戶認證管理

2.2 用戶權(quán)限管理

2.2.1 賬號管理

帳號分為運維帳號和開發(fā)用戶帳號。

運維帳號按服務(wù)拆為多個賬號，不同的賬號操作不同的服務(wù),具體如下：

開發(fā)用戶賬號，每個用戶一個帳號，按團隊分組，不同的賬號或組操作不同的文件或表，如果需要操作別人的數(shù)據(jù)，需要運維進行授權(quán)

2.2.2 目錄和文件規(guī)范

2.2.3 用戶權(quán)限管理

權(quán)限管理有2種方案，ACL方案（粗粒度）和 ranger方案（細粒度），基于我們的數(shù)據(jù)需求，先考慮使用ranger提供的細粒度權(quán)限控制

使用Ranger UI界面進行權(quán)限的管理，目前各個服務(wù)提供的權(quán)限如下：

團隊權(quán)限分配

個人帳號：在線上操作要精確到個人

申請權(quán)限流程：

 每個團隊的leader向管理員提出申請，經(jīng)過評審?fù)ㄟ^后方可授予相應(yīng)的權(quán)限

關(guān)于 大數(shù)據(jù)安全規(guī)范的示例分析就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。