什么是Cloudera虛擬私有集群和SDX

這篇文章將為大家詳細(xì)講解有關(guān)什么是Cloudera虛擬私有集群和SDX，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個(gè)參考，希望大家閱讀完這篇文章后對(duì)相關(guān)知識(shí)有一定的了解。

虛擬私有集群(Virtual Private Cluster,VPC)使用Cloudera共享數(shù)據(jù)體驗(yàn)(Shared Data Experience,SDX)來(lái)簡(jiǎn)化本地和基于云的應(yīng)用程序的部署，并使運(yùn)行在不同集群中的工作負(fù)載能夠安全，靈活的共享數(shù)據(jù)。這個(gè)架構(gòu)為在應(yīng)用程序之間部署工作負(fù)載和共享數(shù)據(jù)帶來(lái)了很多優(yōu)勢(shì)，包括共享元數(shù)據(jù)，統(tǒng)一安全，一致的數(shù)據(jù)治理和數(shù)據(jù)生命周期管理。

在傳統(tǒng)的CDH部署中，一個(gè)集群通常包含存儲(chǔ)節(jié)點(diǎn)，計(jì)算節(jié)點(diǎn)以及其它服務(wù)如元數(shù)據(jù)和安全服務(wù)。這種傳統(tǒng)架構(gòu)有很多優(yōu)點(diǎn)，比如Impala和YARN可以訪問(wèn)相同的數(shù)據(jù)源如HDFS或Hive。

借助VPC和SDX框架，CDH6.2提供了一種新類型集群，稱為計(jì)算集群(Compute cluster)。計(jì)算集群運(yùn)行Impala，Hive Execution Service，Spark或YARN等計(jì)算服務(wù)，然后配置這些集群都統(tǒng)一訪問(wèn)同一個(gè)常規(guī)CDH集群(Regular CDH cluster)，稱為基礎(chǔ)集群(Base cluster)。使用這個(gè)架構(gòu)可以實(shí)現(xiàn)計(jì)算和存儲(chǔ)的分離，從而提高總的資源利用率。

存儲(chǔ)和計(jì)算分離架構(gòu)可以為CDH部署帶來(lái)很多優(yōu)勢(shì)：

1.為部署計(jì)算和存儲(chǔ)資源提供更多選擇

    a)你可以有選擇的將資源部署到本地服務(wù)器，容器，虛擬機(jī)或云中，具體看工作負(fù)載適合哪個(gè)部署環(huán)境。配置Compute集群時(shí)，你可以配置更適合計(jì)算類工作負(fù)載的硬件，而Base集群則可以使用存儲(chǔ)較大的硬件。Cloudera建議每個(gè)集群使用相似的硬件。

    b)可以優(yōu)化軟件資源以最好地使用計(jì)算和存儲(chǔ)資源。

2.臨時(shí)集群

在云基礎(chǔ)架構(gòu)上部署集群時(shí)，存儲(chǔ)和計(jì)算分離可以允許你暫時(shí)關(guān)閉計(jì)算集群以避免不必要的開銷 - 同時(shí)數(shù)據(jù)依舊保存給其它的應(yīng)用程序使用。

3.隔離工作負(fù)載

    a)Compute集群可以解決用戶訪問(wèn)時(shí)的資源沖突問(wèn)題?？梢詫?duì)需要長(zhǎng)時(shí)間運(yùn)行的工作負(fù)載或者非常吃資源的工作負(fù)載進(jìn)行隔離，將它們部署到專有的Compute集群中運(yùn)行，從而不影響其它工作負(fù)載。

    b)資源可以按集群進(jìn)行分組，從而允許IT團(tuán)隊(duì)對(duì)使用使用集群的團(tuán)隊(duì)基于資源進(jìn)行成本核算。

Compute集群配置有計(jì)算資源，例如YARN，Spark，Hive Execution或Impala。在這些集群上運(yùn)行的工作負(fù)載通過(guò)連接到Base集群的數(shù)據(jù)上下文(Data Context)來(lái)訪問(wèn)數(shù)據(jù)。數(shù)據(jù)上下文是連接到Base集群的連接器。數(shù)據(jù)上下文定義了在Base集群中部署的訪問(wèn)數(shù)據(jù)所需的數(shù)據(jù)，元數(shù)據(jù)和安全服務(wù)。無(wú)論是Compute集群還是Base集群都由同一個(gè)Cloudera Manager管理。Base集群必須部署HDFS服務(wù)，同時(shí)也可以包含任何其他的CDH服務(wù) - 但只能使用數(shù)據(jù)上下文共享HDFS，Hive，Sentry，Amazon S3和Microsoft ADLS。

Compute集群需要HDFS服務(wù)來(lái)保存多階段MapReduce作業(yè)中使用的臨時(shí)文件。另外，根據(jù)需要部署以下服務(wù)：

• Hive Execution Service(此服務(wù)僅提供HiveServer2角色)

• Hue

• Impala

• Spark2

• Oozie(Hue依賴該服務(wù))

• YARN

• HDFS(必須)

VPC的功能是常規(guī)集群中可用功能的子集，您可以使用的CDH版本是有限的。

因?yàn)樵L問(wèn)數(shù)據(jù)需要通過(guò)集群與集群之間的網(wǎng)絡(luò)，因此該架構(gòu)不適合需要掃描大量數(shù)據(jù)的工作負(fù)載。這些類型的工作負(fù)載在常規(guī)集群上會(huì)運(yùn)行的更好，就是存儲(chǔ)和計(jì)算不分離，諸如像Impala的短回路(short-circuit)讀取可以帶來(lái)更好的性能。

當(dāng)Compute集群因?yàn)椴恍枰獣r(shí)被關(guān)閉或暫停后，收集歷史數(shù)據(jù)的服務(wù)不會(huì)在Compute集群離線時(shí)收集數(shù)據(jù)，同時(shí)用戶也無(wú)法訪問(wèn)歷史記錄。這會(huì)影響Spark History Server和YARN JobHistory Server等服務(wù)。當(dāng)Compute集群重新啟動(dòng)后，你才可以訪問(wèn)以前的歷史記錄。

在一個(gè)Base集群和多個(gè)Compute集群的環(huán)境中，Navigator的設(shè)計(jì)目標(biāo)是為Base集群的數(shù)據(jù)治理和元數(shù)據(jù)提供服務(wù)。它不會(huì)從臨時(shí)的Compute集群中提取元數(shù)據(jù)和審計(jì)事件。配置集群時(shí)，如果用戶操作是針對(duì)Base集群上的服務(wù)和數(shù)據(jù)運(yùn)行，并且使用受控的服務(wù)賬號(hào)在Compute集群上進(jìn)行操作，Navigator會(huì)依舊跟蹤元數(shù)據(jù)和審計(jì)事件。

因?yàn)椴粫?huì)收集Compute集群上運(yùn)行服務(wù)的審計(jì)事件，所以如果你需要收集用戶的審計(jì)事件，請(qǐng)確保Compute集群上運(yùn)行的工作負(fù)載是服務(wù)用戶執(zhí)行的工作負(fù)載，并嚴(yán)格控制對(duì)服務(wù)用戶帳戶的訪問(wèn)。

對(duì)于在Compute集群上運(yùn)行的服務(wù)，不會(huì)收集任何元數(shù)據(jù)。要確保系統(tǒng)收集你的環(huán)境中的資產(chǎn)和操作元數(shù)據(jù)，請(qǐng)?jiān)跀?shù)據(jù)上下文中包含服務(wù)。

關(guān)于什么是Cloudera虛擬私有集群和SDX就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到。