CDSW1.5的新功能是什么

這篇文章主要介紹CDSW1.5的新功能是什么，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！

1.Cloudera Enterprise 6.1支持

Cloudera Data Science Workbench現(xiàn)在支持Cloudera Manager 6.1.x (或更高) 和CDH 6.1.x (或更高)。

2.Cloudera Data Science Workbench on Hortonworks Data Platform (HDP)

Cloudera Data Science Workbench現(xiàn)在可以部署到HDP 2.6.5和HDP 3.1.0。

3.安全增強(qiáng)

允許Site Administrators啟用/禁用項(xiàng)目上傳和下載 - 默認(rèn)情況下，所有的CDSW用戶(hù)都允許從項(xiàng)目上傳和下載文件。1.5引入了一個(gè)新的功能，允許Site Administrator為用戶(hù)在UI上隱藏上傳和下載的功能。

請(qǐng)注意，該功能僅僅是從CDSW的界面上刪除了上傳和下載的按鈕，它并沒(méi)有禁用通過(guò)后端Web API上傳和下載文件的功能。

4.OpenJDK支持

Cloudera Data Science Workbench現(xiàn)在支持在Cloudera Enterprise 5.16.1（或更高）上使用OpenJDK。

5.Engines

• 基礎(chǔ)引擎R升級(jí)到新版本3.5.1(Base Image v7)

• 改進(jìn)調(diào)試功能 - 以前，引擎在退出或崩潰后會(huì)立即刪除與其關(guān)聯(lián)的日志。對(duì)于1.5版本，現(xiàn)在可以在結(jié)束后短時(shí)間內(nèi)使用引擎，以便你收集相關(guān)日志。

另外，當(dāng)引擎以non-zero狀態(tài)碼退出時(shí)，引擎日志中的最后50行現(xiàn)在將打印到Workbench控制臺(tái)。請(qǐng)注意，non-zero退出碼和Workbench中引擎日志的存在并不總是意味著你的代碼存在問(wèn)題。會(huì)話(huà)超時(shí)和內(nèi)存不足問(wèn)題等也會(huì)拋出non-zero退出碼，并顯示引擎日志。

6.安裝和升級(jí)

• 新的配置參數(shù) - 1.5包括三個(gè)新配置參數(shù)，可用于指定正在運(yùn)行的分發(fā)版類(lèi)型，已安裝軟件包/parcel的目錄以及安裝Anaconda的路徑（僅適用于HDP）。

• DISTRO

• DISTRO_DIR

• ANACONDA_DIR

• DOCKER_TMPDIR修改為/var/lib/cdsw/tmp/docker - 以前，CDSW安裝程序會(huì)臨時(shí)將基礎(chǔ)引擎鏡像文件解壓到/var/lib/docker/tmp目錄。從1.5版本開(kāi)始，安裝程序?qū)⑹褂?var/lib/cdsw/tmp/docker目錄。確保按照建議將Application block device掛載到/var/lib/cdsw，以便安裝/升級(jí)不會(huì)出現(xiàn)問(wèn)題。

• 改進(jìn)校驗(yàn)檢查 - 改進(jìn)了安裝程序運(yùn)行的校驗(yàn)檢查（validation check）以及安裝過(guò)程中顯示的錯(cuò)誤消息。Cloudera Data Science Workbench現(xiàn)在：

• 檢查根目錄，Application Block Device和Docker Block Device是否有可用空間。

• 檢查DNS正向和反向查找是否適用于所提供的CDSW域和Master IP地址。

• cdsw status和cdsw validate命令的錯(cuò)誤信息顯示會(huì)更友好，以便于調(diào)試。

7.命令行

• cdsw logs - 以前，cdsw logs命令生成兩個(gè)日志包 - 一個(gè)是純文本，另一個(gè)對(duì)敏感信息進(jìn)行了脫敏。對(duì)于CDSW1.5，該命令現(xiàn)在只生成一個(gè)包，默認(rèn)情況下會(huì)對(duì)所有敏感信息進(jìn)行脫敏。

要關(guān)閉日志文件的敏感信息脫敏，可以使用新的--skip-redaction參數(shù)，如下所示：

cdsw logs --skip-redaction

8.網(wǎng)絡(luò)

• CDSW現(xiàn)在使用DNS主機(jī)名（而不是IP地址）進(jìn)行組件之間的內(nèi)部通信。因此，為CDSW配置的通配符DNS主機(jī)名必須能被CDSW集群和瀏覽器解析。

• CDSW現(xiàn)在可以在安裝過(guò)程中啟用IPv4轉(zhuǎn)發(fā)（net.ipv4.conf.default.forwarding）。

CDSW1.5開(kāi)始打包的基礎(chǔ)engine鏡像包括的R和Python的版本為(version 7)：

R - 3.5.1

Python - 2.7.11, 3.6.1

Engine 7中預(yù)安裝的軟件包 - 參考：

https://www.cloudera.com/documentation/data-science-workbench/1-5-x/topics/cdsw_engines_packaging.html#cdsw_kernels

升級(jí)項(xiàng)目使用最新的Base Engine Images - 確保進(jìn)行了測(cè)試，然后升級(jí)已有的項(xiàng)目到Base Image v7 (Project Settings > Engine) ，以確保能利用最新的一些bug修復(fù)。

另外，CDSW現(xiàn)在會(huì)在有新版本的engine可用時(shí)提醒你。確保你將有的項(xiàng)目升級(jí)到了Base Image v5 (Project Settings > Engine) 并進(jìn)行測(cè)試，因?yàn)樾迯?fù)了一些bug。

請(qǐng)注意，如果你是在CDH6上使用CDSW，則升級(jí)到Base Image v7是必須的。

你使用的base engine image必須與CDH版本兼容。如果你是在Spark上運(yùn)行工作負(fù)載，這一點(diǎn)尤為重要。較舊的base engine（v6及更低版本）無(wú)法支持最新版本的CDH6。這是因?yàn)檫@些engine指向Spark2 parcel。但是，在CDH6上，Spark現(xiàn)在打包為CDH6 parcel的一部分，不再支持單獨(dú)安裝Spark2 parcel。如果要在CDH6上運(yùn)行Spark工作負(fù)載，則必須將項(xiàng)目升級(jí)到base engine 7（或更高版本）。

CDH5和CDH6上Spark工作負(fù)載的CDSW Base Engine兼容性

廢棄的配置 - CDH Parcel Directory

Admin > Engines的Site Administration面板中不再提供CDH parcel directory配置。根據(jù)你的部署，使用以下方法之一配置此屬性：

• CSD部署：如果你使用的是默認(rèn)的parcel目錄/opt/cloudera/parcels，則無(wú)需執(zhí)行任何操作。如果要自定義parcel目錄，需要在Cloudera Manager中進(jìn)行配置，具體參考CM相關(guān)文檔。

• RPM部署：如果你使用的是默認(rèn)的parcel目錄/opt/cloudera/parcels，則無(wú)需執(zhí)行任何操作。如果要自定義parcel目錄，需要在master和worker節(jié)點(diǎn)的cdsw.conf文件中配置DISTRO_DIR屬性。更改后運(yùn)行cdsw restart。

1.修復(fù)了RPM安裝中忽略NO_PROXY設(shè)置的問(wèn)題。Cloudera Bug: DSE-4444。

2.修復(fù)了由于Web pod的IP問(wèn)題導(dǎo)致CDSW無(wú)法啟動(dòng)的問(wèn)題。1.5通過(guò)在啟動(dòng)時(shí)啟用IPv4轉(zhuǎn)發(fā)來(lái)解決此問(wèn)題。Cloudera Bug: DSE-4609

3.修復(fù)了在退出/崩潰后引擎會(huì)立即被刪除，并且引擎日志不會(huì)存在的問(wèn)題，這使得很難通過(guò)崩潰或自動(dòng)重啟來(lái)調(diào)試問(wèn)題。Cloudera Bug: DSE-4008, DSE-4417

4.修復(fù)了在CSD部署中啟動(dòng)和停止CDSW的間歇性問(wèn)題。Cloudera Bug: DSE-4426, DSE-4829

5.修復(fù)了CDSW報(bào)告大于2MB的文件的文件大小不正確的問(wèn)題。Cloudera Bug: DSE-4531, DSE-4532

6.修復(fù)了Run New Experiment對(duì)話(huà)框未包含file selector，且必須手動(dòng)輸入腳本名稱(chēng)的問(wèn)題。Cloudera Bug: DSE-3650

7.修復(fù)了底層Kubernetes進(jìn)程耗盡資源導(dǎo)致OOM錯(cuò)誤的問(wèn)題。CDSW現(xiàn)在會(huì)為Kubernetes組件預(yù)留計(jì)算資源。Cloudera Bug: DSE-4896, DSE-5001

8.修復(fù)了PYSPARK3_PYTHON環(huán)境變量未按預(yù)期用于Python 3工作負(fù)載的問(wèn)題。Cloudera Bug: DSE-4329

9.修復(fù)了當(dāng)使用HTTP/HTTPS代理時(shí)，CDSW的engine（比如自定義的engine image）在本地不可用時(shí)，Docker命令會(huì)失敗的問(wèn)題。Cloudera Bug: DSE-4427

以上是“CDSW1.5的新功能是什么”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對(duì)大家有幫助，更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！