Cloudera數(shù)據(jù)加密概述及用法

這篇文章主要介紹“Cloudera數(shù)據(jù)加密概述及用法”，在日常操作中，相信很多人在Cloudera數(shù)據(jù)加密概述及用法問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Cloudera數(shù)據(jù)加密概述及用法”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

Cloudera數(shù)據(jù)加密概述

加密是使用數(shù)字密鑰對各種組件（例如文本，文件，數(shù)據(jù)庫，密碼，應(yīng)用程序或網(wǎng)絡(luò)數(shù)據(jù)包）進行編碼的過程，因此只有適當(dāng)?shù)膶嶓w（用戶，系統(tǒng)進程等）才能進行解碼（解密） ）項，然后查看，修改或添加到數(shù)據(jù)中。Cloudera提供了加密機制來保護持久保存在磁盤或其他存儲介質(zhì)上的數(shù)據(jù)（靜態(tài)數(shù)據(jù)或簡單地稱為數(shù)據(jù)加密）以及在網(wǎng)絡(luò)上移動時的數(shù)據(jù)（傳輸加密中的數(shù)據(jù)）。

在政府，衛(wèi)生，金融，教育和許多其他環(huán)境中，數(shù)據(jù)加密是強制性的。例如，《聯(lián)邦信息安全管理法案》（FISMA）規(guī)范了患者的隱私問題，而《支付卡行業(yè)數(shù)據(jù)安全標(biāo)準(zhǔn)》（PCI DSS）規(guī)范了信用卡處理器的信息安全性。這只是兩個例子。

盡管如此，使用案例中需要使用何種程度的隱私，機密性和數(shù)據(jù)完整性的Cloudera集群中包含的大量數(shù)據(jù)（使用許多不同的組件進行部署）仍然必須支持。Cloudera支持并在本概述中討論的加密機制旨在實現(xiàn)這一目標(biāo)。

保護靜態(tài)數(shù)據(jù)

保護靜止數(shù)據(jù)通常意味著對存儲在磁盤上的數(shù)據(jù)進行加密，并允許授權(quán)用戶和進程（僅授權(quán)用戶和進程）在手頭的應(yīng)用程序或任務(wù)需要時解密數(shù)據(jù)。對于靜態(tài)數(shù)據(jù)加密，必須分發(fā)和管理加密密鑰，應(yīng)定期旋轉(zhuǎn)或更改密鑰（以減少密鑰被泄露的風(fēng)險），并且許多其他因素使該過程復(fù)雜化。

但是，僅加密數(shù)據(jù)可能不夠。例如，管理員和其他具有足夠特權(quán)的人可能有權(quán)訪問日志文件，審核數(shù)據(jù)或SQL查詢中的個人身份信息（PII）。根據(jù)特定的用例，在醫(yī)院或財務(wù)環(huán)境中，可能需要從所有此類文件中刪除PII，以確保對日志和查詢具有特權(quán)的用戶（其中可能包含敏感數(shù)據(jù)）仍然無法在查看數(shù)據(jù)時使用不應(yīng)該。

Cloudera提供了補充方法來加密靜態(tài)數(shù)據(jù)，并提供了屏蔽日志文件，審核數(shù)據(jù)和SQL查詢中的PII的機制。

可用的加密選項

Cloudera提供了多種機制來確保敏感數(shù)據(jù)的安全。CDH提供透明的HDFS加密，確保所有敏感數(shù)據(jù)在存儲到磁盤之前都已加密。通過將HDFS加密與Navigator Key Trustee的企業(yè)級加密密鑰管理結(jié)合使用，可以使大多數(shù)企業(yè)遵守法規(guī)。對于Cloudera Enterprise，可以通過Navigator Encrypt增強HDFS加密，以保護數(shù)據(jù)之外的元數(shù)據(jù)?？紤]到數(shù)據(jù)節(jié)點是并行加密的，使用這些解決方案的Cloudera集群照常運行，并且對性能的影響非常低。隨著集群的增長，加密也隨之增長。

此外，此透明加密針對英特爾芯片組進行了優(yōu)化，以實現(xiàn)高性能。英特爾芯片組包括AES-NI協(xié)處理器，該處理器提供特殊功能，可使加密工作負(fù)載運行得非?？臁loudera利用Intel最新的技術(shù)進步來獲得更快的性能。

密鑰受托者KMS與密鑰受托者服務(wù)器和密鑰HSM結(jié)合使用，可為存儲的密鑰材料提供基于HSM的保護。密鑰受托者KMS在KMS上本地生成加密區(qū)域密鑰材料，然后使用HSM生成的密鑰對該密鑰材料進行加密。相反，Navigator HSM KMS服務(wù)依賴于HSM來生成和存儲所有加密區(qū)域密鑰。使用Navigator HSM KMS時，加密區(qū)域密鑰材料起源于HSM，并且永遠不會離開HSM。這樣可以實現(xiàn)最高級別的密鑰隔離，但是需要一些網(wǎng)絡(luò)開銷來進行HSM的網(wǎng)絡(luò)調(diào)用，以進行密鑰生成，加密和解密操作。對于大多數(shù)生產(chǎn)方案，密鑰受托人KMS仍然是建議的HDFS加密密鑰管理解決方案。

下圖顯示了使用示例部署：

• Cloudera透明HDFS加密可加密HDFS上存儲的數(shù)據(jù)

• Navigator Encrypt對與Cloudera Manager，Cloudera Navigator，Hive和HBase相關(guān)的所有其他數(shù)據(jù)（包括元數(shù)據(jù)，日志和溢出數(shù)據(jù)）進行加密

• Navigator Key Trustee，用于進行健壯，容錯的密鑰管理

除了對Cloudera集群的數(shù)據(jù)層應(yīng)用加密之外，還可以在網(wǎng)絡(luò)層應(yīng)用加密，以加密集群節(jié)點之間的通信。

加密不會阻止對集群具有完全訪問權(quán)限的管理員查看敏感數(shù)據(jù)。要混淆包括PII在內(nèi)的敏感數(shù)據(jù)，可以配置集群以進行數(shù)據(jù)編輯。

Cloudera集群的數(shù)據(jù)整理

編輯是一個使數(shù)據(jù)模糊的過程。它可以通過混淆個人身份信息（PII）來幫助組織遵守PCI（支付卡行業(yè)）和HIPAA之類的行業(yè)法規(guī)和標(biāo)準(zhǔn)，從而使其無法使用，除非工作需要此類訪問的人員才能使用。例如，HIPAA立法要求，除適當(dāng)?shù)尼t(yī)生（和患者）外，任何人都不能使用患者PII，并且不得使用任何患者的PII來確定個人身份或?qū)⑵渑c健康數(shù)據(jù)相關(guān)聯(lián)。通過將PII轉(zhuǎn)換為無意義的模式（例如，將美國的社會保險號轉(zhuǎn)換為XXX-XX-XXXX 字符串。

數(shù)據(jù)編輯與Cloudera 加密技術(shù)分開工作，Cloudera 加密技術(shù)不會阻止對集群具有完全訪問權(quán)限的管理員查看敏感的用戶數(shù)據(jù)。它確保集群管理員，數(shù)據(jù)分析人員和其他人員不會看到不在其工作域內(nèi)的PII或其他敏感數(shù)據(jù)，并且同時也不會阻止具有適當(dāng)權(quán)限的用戶訪問他們擁有特權(quán)的數(shù)據(jù)。

保護動態(tài)數(shù)據(jù)

對于傳輸中的數(shù)據(jù)，實施數(shù)據(jù)保護和加密相對容易。有線加密內(nèi)置在Hadoop堆棧中（例如SSL），并且通常不需要外部系統(tǒng)。使用會話級一次性密鑰通過會話握手以及立即傳輸和后續(xù)傳輸來構(gòu)建此傳輸中數(shù)據(jù)加密。因此，由于密鑰的臨時性，傳輸中的數(shù)據(jù)避免了許多與靜態(tài)數(shù)據(jù)相關(guān)的密鑰管理問題，但它確實依賴于正確的身份驗證；證書泄露是身份驗證的問題，但可能會破壞有線加密。顧名思義，傳輸中的數(shù)據(jù)涵蓋了數(shù)據(jù)的安全傳輸和中間存儲。這適用于所有過程間通信，在同一節(jié)點內(nèi)或節(jié)點之間。有三種主要的溝通渠道：

• HDFS透明加密：使用HDFS透明加密加密的數(shù)據(jù)是端到端的保護。寫入和寫入HDFS的任何數(shù)據(jù)只能由客戶端加密或解密。HDFS無權(quán)訪問未加密的數(shù)據(jù)或加密密鑰。這支持靜態(tài)加密和傳輸中加密。

• 數(shù)據(jù)傳輸：第一個通道是數(shù)據(jù)傳輸，包括將數(shù)據(jù)塊讀取和寫入HDFS。Hadoop在其原生的基于TCP / IP的直接傳輸（稱為）周圍使用了啟用SASL的包裝器DataTransportProtocol，以保護DIGEST-MD5信封內(nèi)的I / O流。此過程還使用安全的HadoopRPC（請參閱遠程過程調(diào)用）進行密鑰交換。但是，HttpFS REST接口不提供客戶端與HDFS之間的安全通信，僅提供使用SPNEGO進行的安全身份驗證。

• 為了在MapReduce作業(yè)的混洗階段（即在作業(yè)的Map和Reduce部分之間移動中間結(jié)果）期間在DataNode之間進行數(shù)據(jù)傳輸，Hadoop使用傳輸層安全性（TLS）通過HTTP Secure（HTTPS）保護了通信通道）。

• 遠程過程調(diào)用：第二個通道是對Hadoop集群中各種系統(tǒng)和框架的遠程過程（RPC）的系統(tǒng)調(diào)用。與數(shù)據(jù)傳輸活動一樣，Hadoop具有自己的RPC本地協(xié)議，稱為HadoopRPC，用于Hadoop API客戶端通信，Hadoop內(nèi)部服務(wù)通信以及監(jiān)視，心跳以及其他非數(shù)據(jù)，非用戶活動。HadoopRPC支持SASL，以實現(xiàn)安全傳輸，并且默認(rèn)設(shè)置為Kerberos和DIGEST-MD5，具體取決于通信類型和安全設(shè)置。

• 用戶界面：第三個渠道包括Hadoop集群中各種基于Web的用戶界面。對于安全運輸，解決方案很簡單；這些接口使用HTTPS。

TLS / SSL證書概述

可以使用三種不同的方式對證書進行簽名：

CDH組件的TLS / SSL加密

Cloudera建議在集群上啟用SSL之類的加密之前，先使用Kerberos身份驗證保護集群。如果為尚未配置Kerberos身份驗證的集群啟用SSL，將顯示警告。

Hadoop服務(wù)在SSL的使用方面有所不同，如下所示：

• HDFS，MapReduce和YARN守護程序既充當(dāng)SSL服務(wù)器又充當(dāng)客戶端。

• HBase守護程序僅充當(dāng)SSL服務(wù)器。

• Oozie守護程序僅充當(dāng)SSL服務(wù)器。

• Hue充當(dāng)上述所有內(nèi)容的SSL客戶端。

啟動時，充當(dāng)SSL服務(wù)器的守護程序?qū)⒓虞d密鑰庫。當(dāng)客戶端連接到SSL服務(wù)器守護程序時，服務(wù)器會將在啟動時加載的證書傳輸?shù)娇蛻舳?，然后客戶端使用其信任庫來驗證服務(wù)器的證書。

有關(guān)為CDH服務(wù)設(shè)置SSL / TLS的信息，請參閱適用的組件指南。

Hadoop項目中的數(shù)據(jù)保護

下表列出了CDH組件和Cloudera Manager可以利用的各種加密功能。

加密機制概述

靜態(tài)數(shù)據(jù)和傳輸加密中的數(shù)據(jù)在集群的不同技術(shù)層起作用：

來源：https://docs.cloudera.com/cloudera-manager/7.0.3/security-overview/topics/cm-security-encryption-overview.html

到此，關(guān)于“Cloudera數(shù)據(jù)加密概述及用法”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>