運(yùn)行在YARN上的計(jì)算框架有什么作用

本篇內(nèi)容主要講解“運(yùn)行在YARN上的計(jì)算框架有什么作用”，感興趣的朋友不妨來(lái)看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來(lái)帶大家學(xué)習(xí)“運(yùn)行在YARN上的計(jì)算框架有什么作用”吧!

1. 將框架運(yùn)行在YARN上帶來(lái)的好處

隨著YARN的的成熟和穩(wěn)定，各類應(yīng)用程序可以運(yùn)行在一個(gè)YARN集群中進(jìn)行統(tǒng)一資源管理和調(diào)度，這樣帶來(lái)的變化如下：

（1）應(yīng)用程序部署變得更加簡(jiǎn)單

管理員只需部署YARN服務(wù)即可，各類應(yīng)用程序框架不再自帶服務(wù)，無(wú)需實(shí)現(xiàn)部署，它們已經(jīng)變成了客戶端編程庫(kù)（library），由YARN提供的分布式緩存機(jī)制分發(fā)到各個(gè)節(jié)點(diǎn)上；

（2）服務(wù)部署變得簡(jiǎn)單

用戶可以通過(guò)運(yùn)行一個(gè)應(yīng)用程序的方式部署一套服務(wù)，比如Storm服務(wù)，至于jar包拷貝等工作，完全由YARN自動(dòng)完成，部署完成后，用戶像使用普通的Storm集群那樣使用Storm-On-YARN

（3）多版本共享集群資源（簡(jiǎn)單的隔離）

由于YARN只負(fù)責(zé)資源管理和調(diào)度，至于其上運(yùn)行什么應(yīng)用或者服務(wù)，完全由用戶自己決定，這使得用戶可在YARN上運(yùn)行多個(gè)同類服務(wù)實(shí)例，比如運(yùn)行 多個(gè)Storm實(shí)例供不同類型的應(yīng)用，YARN本身可以為這些實(shí)例提供隔離機(jī)制（Cgroups）。有了YARN之后，用戶開(kāi)發(fā)新的框架或者應(yīng)用程序時(shí)， 可不必在考慮資源隔離問(wèn)題。

（4）資源彈性管理

由于多類應(yīng)用運(yùn)行在一個(gè)YARN集群中，比如離線計(jì)算、實(shí)時(shí)計(jì)算、DAG計(jì)算等，YARN可根據(jù)不同類型的應(yīng)用程序壓力情況，調(diào)整對(duì)應(yīng)的資源使用量，實(shí)現(xiàn)資源彈性管理。

2. 目前可運(yùn)行在YARN上的計(jì)算框架

運(yùn)行在YARN上的框架，包括MapReduce-On-YARN, Spark-On-YARN, Storm-On-YARN和Tez-On-YARN。

（1）MapReduce-On-YARN：YARN上的離線計(jì)算，YARN發(fā)行版中自帶該實(shí)現(xiàn)，隨著YARN的穩(wěn)定，MRv1運(yùn)行方式會(huì)被淘汰；

（2）Spark-On-YARN：YARN上的內(nèi)存計(jì)算；

（3）Storm-On-YARN：YARN上的實(shí)時(shí)/流式計(jì)算；

（4）Tez-On-YARN：YARN上的DAG計(jì)算

到此，相信大家對(duì)“運(yùn)行在YARN上的計(jì)算框架有什么作用”有了更深的了解，不妨來(lái)實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！