大數據資源如何管理

Hadoop集群資源管理器是什么？它是如何為上層應用提供資源管理和調度的呢？我們一起來看Apache Hadoop YARN的引入，為集群在利用率、資源統一管理和數據共享等方面帶來的巨大好處。

從開發(fā)人員來講提交作業(yè)（應用）到YARN集群，通過YARN的UI來監(jiān)控和管理作業(yè)。Hadoop給開發(fā)員提供了三種主要YARN工具：（1）Hue Job Browser；（2）YARN Web UI；（3）YARN命令。YARN管理員可以使用Cloudera Manager，包含在Cloudera Express和ClouderaEnterprise中，對開發(fā)人員也有一些幫助。下面我們一起來看具體組件的作用：

（1）Hue Job Browser：可以監(jiān)控作業(yè)狀態(tài)、查看日志、殺掉作業(yè)

（2）YARN Web UI：Resource Manager UI是主要的入口點，運行在RM主機的8088端口，相比Hue，提供了更多明細視圖（可以查看每一個應用下面的任務，任務里面有多少attempt，以及一些日志情況），但是它不提供任何控制或者配置。在這里我們看一下YARN Web UI的類別：

1)Resource Manager UI：Nodes

2)Resource Manager UI：Applications

3)ResourceManager UI：Application Detail

（3）YARN命令行

1）通過命令配置和查看關于YARN集群的信息

a)yarn <command>

2）大多數YARN命令行工具是為管理員而不是開發(fā)員準備的

3）一些對開發(fā)員有用的命令

b)yarn application,使用-list來查看運行的應用,使用-kill來殺掉運行的應用.

c)yarn logs –applicationId<app-id>,查看特定應用的日志

（4）Cloudera Manager

Cloudera Manager提供了強大地從單個節(jié)點監(jiān)控和配置集群的能力

YARN作為Hadoop的資源管理器，給集群的資源管理與共享帶來了便捷，但是我們必須明確YARN 在實際應用中的特點，才能夠更好的掌握和應用。大數據由于當下發(fā)展的需要，給每一位想要從事或者已經從事大數據的人員提供了機遇和挑戰(zhàn)，我們不僅要多方位思考總結，還要借鑒和學習別人的經驗，不斷地改善自己的知識架構，才會取得更大的進步。平時可以關注“大數據cn”這樣的微信資訊平臺，上面分享的大數據相關知識對于我們從業(yè)者來說，很新穎獨特，對開闊我們的視野，拓展我們的知識面，激發(fā)我們的思維都有著很好地幫助作用！