CDSW中Run Experiments異常的示例分析

這篇文章將為大家詳細(xì)講解有關(guān)CDSW中Run Experiments異常的示例分析，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

從CDSW (Cloudera Data Science Workbench) 1.4開始，CDSW中新增了一個(gè)Experiments 功能，它允許數(shù)據(jù)科學(xué)家運(yùn)行批處理實(shí)驗(yàn)，跟蹤不同版本的代碼，并進(jìn)行參數(shù)輸入和輸出。Experiments 是批量執(zhí)行的工作負(fù)載，將代碼、輸入?yún)?shù)和輸出模板化。此功能還提供輕量級跟蹤輸出數(shù)據(jù)的功能，包括文件、指標(biāo)和元數(shù)據(jù)用以進(jìn)行比較。

• 測試環(huán)境：

1.RedHat7.2

2.CDH5.16.1

當(dāng)我們在項(xiàng)目中添加一個(gè)腳本，這里使用官方示例 add.py

import sys
import cdsw

args = len(sys.argv) - 1  
sum = 0
x = 1

while (args >= x): 
    print ("Argument %i: %s" % (x, sys.argv[x]))
    sum = sum + int(sys.argv[x])
    x = x + 1

print ("Sum of the numbers is: %i." % sum)

參數(shù)如下：

run experiments ，會出現(xiàn)如下錯(cuò)誤

關(guān)于上面的問題主要在于run experiments 時(shí)，會run /home/cdsw/cdsw-build.sh,這個(gè)腳本中會執(zhí)行pip install sklearn,當(dāng)我們在離線的環(huán)境下，無法安裝sklearn 包，就會出現(xiàn)該問題，那么解決該問題有兩種辦法

如何定制鏡像可以參考Fayson 之前的文章《如何基于CDSW基礎(chǔ)鏡像定制Docker》和《如何在CDSW中定制Docker鏡像》這里不多描述，定制完成后選擇新的鏡像并保存

然后重新打開會話，run experiments

發(fā)現(xiàn)可以正常pip install sklearn，并成功執(zhí)行完成

進(jìn)入會話中，點(diǎn)擊_Terminal access

注釋/home/cdsw/cdsw-build.sh 文件中的pip install sklearn

然后再重新執(zhí)行，也可以正常執(zhí)行完成

關(guān)于“CDSW中Run Experiments異常的示例分析”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，使各位可以學(xué)到更多知識，如果覺得文章不錯(cuò)，請把它分享出去讓更多的人看到。