hadoop安全模式的示例分析

這篇文章主要介紹了hadoop安全模式的示例分析，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

HDFS的安全模式

在啟動hadoop集群的時候，集群的運行會首先進(jìn)入到安全模式(safeMode)下。

那么，安全模式是什么，集群在安全模式下干什么了？

當(dāng)集群啟動的時候，會首先進(jìn)入到安全模式。安全模式是hadoop集群的一種保護(hù)方式。當(dāng)系統(tǒng)處于安全模式時，會檢查數(shù)據(jù)塊的完整性。假設(shè)我們設(shè)置的副本數(shù)（即參數(shù)dfs.replication）是5，那么在dataNode上就應(yīng)該有5個副本存在，假設(shè)只存在3個副本，那么比率就是3/5=0.6。在配置文件hdfs-default.xml中定義了一個最小的副本率0.999，如圖7-1

圖7-1

我們的副本率0.6明顯小于0.999，因此系統(tǒng)會自動的復(fù)制副本到其他dataNode，使得副本率不小于0.999。如果系統(tǒng)中有8個副本，超過我們設(shè)定的5個副本，那么系統(tǒng)也會刪除多于的3個副本。

總體來說，安全模式是hadoop的一種保護(hù)機(jī)制，用于保證集群中數(shù)據(jù)塊的安全性的。

安全模式對我們有什么影響哪？

這時，不允許客戶端進(jìn)行任何修改文件的操作，包括上傳文件、刪除文件、重命名、創(chuàng)建文件夾等操作。比如，創(chuàng)建文件時，在源代碼中就有對安全模式的判斷，如圖7-2

圖7-3

正常情況下，安全模式會運行一段時間自動退出的。只需要我們稍等一會就可以了。到底等多長時間哪，我們可以通過50070端口查看安全模式退出的剩余時間，如圖7-4。

圖7-5

安全模式，是hadoop集群的一種保護(hù)機(jī)制，在啟動時，最好是等待集群自動退出，然后再進(jìn)行文件操作。

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“hadoop安全模式的示例分析”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識等著你來學(xué)習(xí)!