DSW：面向AI研發(fā)的集成開(kāi)發(fā)平臺(tái)

發(fā)布會(huì)傳送門(mén)

產(chǎn)品詳情

云原生技術(shù)，注重用戶體驗(yàn)，提升研發(fā)效率

環(huán)境搭建是算法研發(fā)過(guò)程中的重要一環(huán)，這里除了硬件選型外，軟件環(huán)境的安裝配置，后續(xù)升級(jí)往往會(huì)耗費(fèi)不少時(shí)間。DSW借助阿里云ECS，Docker和Kubernetes等云原生技術(shù)，能夠在2，3分鐘內(nèi)幫用戶完成環(huán)境搭建。用戶可以根據(jù)算法需要和成本考慮， 選擇阿里云ECS提供的包括CPU和異構(gòu)計(jì)算GPU在內(nèi)的所有資源規(guī)格。不僅支持預(yù)付費(fèi)，還支持后付費(fèi)。 DSW還配置了10多種適用于不同AI場(chǎng)景的典型軟件環(huán)境配置， 包括Tensorflow和PyTorch等主流訓(xùn)練框架的不同版本組合，供用戶選擇。作為高度開(kāi)放的開(kāi)發(fā)環(huán)境，DSW開(kāi)放sudo權(quán)限給用戶、支持任意第三方庫(kù)安裝。

為了滿足不同水平層次和開(kāi)發(fā)習(xí)慣的算法用戶，結(jié)合可視化，交互式編程和命令行輸入，DSW提供了3種編程入口：WebIde適用于工程化要求比較高的項(xiàng)目；JupyterLab適用于快速POC試驗(yàn)；Terminal入口可用于快速執(zhí)行Shell命令，運(yùn)行程序和簡(jiǎn)單的編輯等。

DSW還開(kāi)發(fā)和預(yù)裝了各種JupyterLab和WebIDE插件， 比如廣受深度學(xué)習(xí)開(kāi)發(fā)者喜愛(ài)的可視化工具Tensorboard，用戶在DSW內(nèi)通過(guò)Launcher，Commands打開(kāi)，甚至還可以使用%tensorboard魔法命令直接在Notebook中開(kāi)啟等多種方式使用Tensorboard。不僅支持本地文件，還可以打開(kāi)存放在OSS，ODPS里的訓(xùn)練日志。針對(duì)算法同學(xué)使用Python比較多的特點(diǎn)， DSW的WebIDE內(nèi)安裝了Python插件， 可以直接在瀏覽器內(nèi)在線調(diào)試，單步跟蹤程序運(yùn)行。用戶還可以根據(jù)需要，自主安裝需要的任意插件。

DSW支持多種數(shù)據(jù)源讀寫(xiě)，包括NAS， OSS，云盤(pán)和MaxCompute，尤其是內(nèi)置了dswmagic魔法命令可以讓用戶在ipynb文件中使用SQL語(yǔ)句讀寫(xiě)MaxCompute表中數(shù)據(jù)，預(yù)置的SQL編輯器支持語(yǔ)法高亮、智能提示、自動(dòng)補(bǔ)全等功能，還支持運(yùn)行帶變量替換功能的Sql腳本。查詢結(jié)果自動(dòng)以最友好的圖形化展示。

為了節(jié)省資源成本，用戶可以利用停機(jī)不收費(fèi)功能，在實(shí)例閑置不用時(shí)關(guān)機(jī)保存環(huán)境， 需要時(shí)再一鍵快速恢復(fù)。此外， DSW支持用戶自定義鏡像安裝，可以基于之前保存或定制的環(huán)境創(chuàng)建實(shí)例。

DSW在公有云上支持了多次百隊(duì)以上規(guī)模的天池大賽，在阿里集團(tuán)內(nèi)同樣也承接著比賽，經(jīng)過(guò)千錘百煉，證明不僅適合個(gè)人和團(tuán)隊(duì)研發(fā)，也支持大規(guī)模算法競(jìng)賽和教育培訓(xùn)。

安全性和穩(wěn)定性是用戶比較關(guān)心的問(wèn)題，DSW使用的計(jì)算，存儲(chǔ)和網(wǎng)絡(luò)資源，完全是使用用戶自己的賬號(hào)購(gòu)買(mǎi)，并部署到用戶自己的vpc內(nèi)部， 可以方便與用戶其他數(shù)據(jù)打通。用戶間完全隔離，還具備非常好的安全性?；诎⒗镌艵CS和容器服務(wù)， 穩(wěn)定性有保障。

集成PAI的各能力組件，加速業(yè)務(wù)落地

身為PAI這個(gè)大家庭的一員， DSW除了完成單機(jī)開(kāi)發(fā)訓(xùn)練功能之外， 還內(nèi)置部分PAI的基礎(chǔ)能力。比如用戶可以直接在實(shí)例內(nèi)利用PAI視覺(jué)類(lèi)算法包EasyVision進(jìn)行圖像分類(lèi)訓(xùn)練評(píng)估、預(yù)測(cè)； 通過(guò)自動(dòng)調(diào)參AutoML進(jìn)行算法超參數(shù)自動(dòng)調(diào)優(yōu)；用戶甚至能夠無(wú)感知的享受PAI編譯優(yōu)化算法組件TAO提供的訓(xùn)練過(guò)程中的算子優(yōu)化。最后， DSW還提供了供算法直接讀取MaxCompute表數(shù)據(jù)的CommonIO組件，支持TableRecordDataSet， TableReader，TableWriter等標(biāo)準(zhǔn)接口，方便訓(xùn)練程序直接提交到PAI的分布式訓(xùn)練集群。

可以預(yù)見(jiàn)，在不久的將來(lái)， 會(huì)有更多的PAI算法包內(nèi)置進(jìn)DSW基礎(chǔ)鏡像內(nèi)。 DSW也會(huì)依賴PAI SDK，圍繞數(shù)據(jù)讀取，加工，模型訓(xùn)練， 模型管理以及在線服務(wù)等AI研發(fā)生產(chǎn)流程的關(guān)鍵環(huán)節(jié)，為用戶提供像Pipeline搭建，調(diào)度和管理之類(lèi)的一條龍服務(wù)。