如何理解MaxCompute Studio的使用

今天就跟大家聊聊有關(guān)如何理解MaxCompute Studio的使用，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

MaxCompute Studio 是MaxCompute 平臺提供的安裝在開發(fā)者客戶端的大數(shù)據(jù)集成開發(fā)環(huán)境工具，是一套基于流行的集成開發(fā)平臺 IntelliJ IDEA 的開發(fā)插件，可以幫助您方便地進(jìn)行數(shù)據(jù)開發(fā)。下面我們一起來看一看Studio的簡單用法。

用戶登錄

Studio提供用戶登錄功能。常規(guī)登錄入口在Intellij toolbar中右上角的Sign In。登錄完成后可直接使用答疑機(jī)器人、添加D2項(xiàng)目、同步D2等功能。

答疑機(jī)器人

點(diǎn)擊右側(cè)“FAQ Robot”按鈕，進(jìn)入答疑機(jī)器人頁面，如下圖所示。答疑機(jī)器人支持自助答疑和人工答疑兩種方式，支持圖片和文件上傳，如果對自助答疑的結(jié)果不滿意，可以在聊天框發(fā)送“人工”呼叫ODPS值班同學(xué)?；蛘咧苯影l(fā)送圖片或文件喚起人工服務(wù)。

資源管理

Studio 的一大核心功能就是瀏覽 MaxCompute 項(xiàng)目空間（Project）的資源，包括 Table、UDF、Resource 等。為了能夠在 Studio 中訪問它們，以及其它很多功能，我們首先需要在新建項(xiàng)目連接。在Project Explorer中點(diǎn)擊"+"添加連接，目前Studio支持同步D2項(xiàng)目和通過accessId/Key添加項(xiàng)目連接。

建立項(xiàng)目空間連接后，可以瀏覽Table&View、Function、Resource等項(xiàng)目資源，雙擊對應(yīng)的元素可以在Intellij中查看資源詳情。

Table

雙擊打開某個(gè)table，如下圖所示。有兩個(gè)tab頁面，“表信息”頁面如下如所示，該頁面展示table的基本信息、schema信息，提供數(shù)據(jù)預(yù)覽功能。

選擇對應(yīng)的分區(qū)，設(shè)置預(yù)覽行數(shù)，點(diǎn)擊“預(yù)覽”按鈕可以進(jìn)行數(shù)據(jù)預(yù)覽。同時(shí)，右鍵點(diǎn)擊表頭支持?jǐn)?shù)據(jù)導(dǎo)入/導(dǎo)出功能。

“分區(qū)信息”頁面如下所示，顯示分區(qū)的詳細(xì)信息，提供分區(qū)的查詢、刷新功能。同時(shí)提供導(dǎo)出分區(qū)信息、分區(qū)數(shù)據(jù)導(dǎo)入導(dǎo)出等功能。

在project explorer中右鍵點(diǎn)擊某張表，可以看到建表、改表、數(shù)據(jù)操作等一系列比較實(shí)用的功能。

右鍵點(diǎn)擊某個(gè)table選擇“open table editor”可以對表信息進(jìn)行相應(yīng)修改，如下圖所示，Studio可以將用戶操作轉(zhuǎn)化為對應(yīng)的SQL語句。

Functions

 Functions分為BuiltIn Function和UserDefied Function, 雙擊對應(yīng)的function可以展開詳情：

Resources

雙擊對應(yīng)的resource，可以在editor中打開文件。對于UDF文件數(shù)大于5的情況，只打開前5個(gè)class。

可以通過如下途徑添加resource：

SQL編輯器與作業(yè)提交

如何幫助用戶高效愉快的編寫SQL是MaxCompute studio的核心使命，下面就讓我們來一起看一下SQL編輯器的使用。首先需要?jiǎng)?chuàng)建一個(gè)MaxCompute Script Module，如下圖所示：

Module創(chuàng)建完成后，新建SQL腳本文件如下圖所示。

最后雙擊SQL文件就可以進(jìn)行我們的腳本開發(fā)了，這里可以自己設(shè)置模式(單句模式|腳本模式)、系統(tǒng)類型（舊有系統(tǒng)類型|MaxCompute系統(tǒng)|Hive系統(tǒng)）、編譯器類型（默認(rèn)編譯器|實(shí)驗(yàn)性編譯器）等。右上角需要選擇對應(yīng)的project。

下圖所示三個(gè)按鈕分別表示將SQL同步到D2，在Cosonle中打開ODPS CMD，打開SQL History。

SQL編輯完成后，點(diǎn)擊下方的graph tab按鈕，可以顯示該SQL的執(zhí)行計(jì)劃，雙擊Task節(jié)點(diǎn)會(huì)展開對應(yīng)的Operator級別的信息。

點(diǎn)擊綠色的提交按鈕，Studio會(huì)先編譯腳本，編譯通過后提交Server后顯示運(yùn)行信息并打開Job分析頁面，如下圖所示：

作業(yè)詳情

上面我們說到了如何編輯SQL和提交作業(yè)，接下來一起看看如何查看作業(yè)詳情。作業(yè)詳情頁可以通過多條路徑打開，比如上面說到的提交作業(yè)，會(huì)自動(dòng)打開作業(yè)詳情頁。其次通過Job Explorer也可以打開作業(yè)詳情頁，再有就是如果已經(jīng)知道logview，可以通過logview打開作業(yè)詳情頁，如下圖所示：

作業(yè)詳情頁面分為兩部分，左側(cè)是作業(yè)的一些基本信息，右側(cè)包含多個(gè)tab頁，包含graph信息、時(shí)序圖、詳情、腳本、摘要、結(jié)果、分析等內(nèi)容。下面對graph圖、時(shí)序圖、詳情頁和作業(yè)分析進(jìn)行進(jìn)一步介紹。

graph頁面

graph頁面展示作業(yè)的Job|Task|Operator三層結(jié)構(gòu)。點(diǎn)擊左上角的導(dǎo)航可切換不同level的視圖，雙擊Job節(jié)點(diǎn)進(jìn)入Task視圖，雙擊Task節(jié)點(diǎn)進(jìn)入Operator視圖。

graph頁面用戶可以通過鼠標(biāo)滾輪或者左側(cè)縮放按鈕對圖像進(jìn)行縮放，同時(shí)提供鷹眼和拖拽等功能。點(diǎn)擊task節(jié)點(diǎn)顯示task級別信息，點(diǎn)擊task之間連線顯示schema信息。

在task level視圖中右鍵點(diǎn)擊節(jié)點(diǎn)，選擇"expand all"展開所有的operator。

同時(shí)，單擊table節(jié)點(diǎn)會(huì)顯示table的基本信息和分區(qū)信息，雙擊table節(jié)點(diǎn)會(huì)跳轉(zhuǎn)到對應(yīng)的table詳情頁。

時(shí)序圖

時(shí)序圖畫的是所有Fuxi Instance的甘特圖，通過時(shí)序圖可以對作業(yè)的運(yùn)行時(shí)間等進(jìn)行詳細(xì)的分析，左側(cè)的Filter可以對instances進(jìn)行過濾，鼠標(biāo)懸停到對應(yīng)的instance上會(huì)顯示對應(yīng)的信息，雙擊則會(huì)跳轉(zhuǎn)到"詳情”tab頁并選中對應(yīng)的instance，對用戶分析十分方便。同時(shí)時(shí)序圖支持縮放功能。

詳情頁

詳情頁展示的是Task級別和Instance級別的詳細(xì)信息。

作業(yè)分析頁面

作業(yè)分析頁面提供作業(yè)分析的結(jié)論，比如長尾節(jié)點(diǎn)、數(shù)據(jù)傾斜等。并提供散點(diǎn)圖、長尾圖和數(shù)據(jù)傾斜圖供用戶分析。

作業(yè)隊(duì)列

Maxcompute 作業(yè)從提交到開始執(zhí)行之前，需要經(jīng)歷很多狀態(tài)，如：執(zhí)行編譯、優(yōu)化、排隊(duì)等待資源等。作業(yè)隊(duì)列提供了查看當(dāng)前詳細(xì)狀態(tài)的功能。對于正在排隊(duì)等待調(diào)度的作業(yè)，可也從隊(duì)列窗口中查看排隊(duì)位置和前序作業(yè)等信息。點(diǎn)擊"Job Explorer"打開作業(yè)隊(duì)列頁面，該頁面提供了項(xiàng)目名稱、狀態(tài)、日期等Filter，選擇對應(yīng)的條件后會(huì)得到對應(yīng)的作業(yè)隊(duì)列，雙擊某一個(gè)作業(yè)會(huì)打開對應(yīng)的作業(yè)詳情頁面。

看完上述內(nèi)容，你們對如何理解MaxCompute Studio的使用有進(jìn)一步的了解嗎？如果還想了解更多知識或者相關(guān)內(nèi)容，請關(guān)注億速云行業(yè)資訊頻道，感謝大家的支持。