溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

如何分析一站式數(shù)據(jù)應(yīng)用開發(fā)管理門戶DataSphere Studio

發(fā)布時(shí)間：2022-01-06 09:12:21 來源：億速云 閱讀：185 作者：柒染 欄目：云計(jì)算

這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)碛嘘P(guān)如何分析一站式數(shù)據(jù)應(yīng)用開發(fā)管理門戶DataSphere Studio，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

“ DataSphere Studio（簡稱DSS）是微眾銀行自研的一站式數(shù)據(jù)應(yīng)用開發(fā)管理門戶?；诓灏问降募煽蚣茉O(shè)計(jì)，及計(jì)算中間件Linkis，可輕松接入上層各種Web系統(tǒng)，讓數(shù)據(jù)開發(fā)變得簡潔又易用。”


01

—

DSS是什么？

DataSphere Studio（簡稱DSS）定位為數(shù)據(jù)應(yīng)用開發(fā)門戶，閉環(huán)涵蓋數(shù)據(jù)應(yīng)用開發(fā)全流程。在統(tǒng)一的UI下，以工作流式的圖形化拖拽開發(fā)體驗(yàn)，滿足從數(shù)據(jù)導(dǎo)入、脫敏清洗、分析挖掘、質(zhì)量檢測、可視化展現(xiàn)、定時(shí)調(diào)度到數(shù)據(jù)輸出應(yīng)用等，數(shù)據(jù)應(yīng)用開發(fā)全流程場景需求。


DSS通過插拔式的集成框架設(shè)計(jì)，讓用戶可以輕松定制化開發(fā)DSS，簡單快速集成各種Web系統(tǒng)，在一個(gè)統(tǒng)一的頁面下，便可滿足用戶的所有業(yè)務(wù)需求。

根據(jù)需要，用戶可以簡單快速替換DSS已集成的各種功能組件，或新增功能組件。


借助于Linkis計(jì)算中間件的連接、復(fù)用與簡化能力，DSS天生便具備了金融級(jí)高并發(fā)、高可用、多租戶隔離和資源管控等執(zhí)行與調(diào)度能力。


02

—

為什么需要DSS？


隨著大數(shù)據(jù)技術(shù)的廣泛應(yīng)用，如今數(shù)據(jù)應(yīng)用的開發(fā)，已遠(yuǎn)遠(yuǎn)不再是加工和生產(chǎn)幾個(gè)報(bào)表了。
業(yè)務(wù)與數(shù)據(jù)如何快速實(shí)現(xiàn)互動(dòng)，數(shù)據(jù)如何快速且高效地生成報(bào)告，協(xié)助商業(yè)決策，幾乎是所有企業(yè)的核心訴求。
然而，現(xiàn)實(shí)卻是，業(yè)務(wù)用戶面對(duì)功能豐富的眾多數(shù)據(jù)應(yīng)用系統(tǒng)，往往不知所措，不知如何選擇。
  

以下六個(gè)痛點(diǎn)，幾乎是所有企業(yè)面臨的非常頭痛的問題：
  1. 數(shù)據(jù)應(yīng)用系統(tǒng)多，沒有統(tǒng)一的用戶入口，用戶體驗(yàn)割裂感強(qiáng)。
  2. 業(yè)務(wù)流程涉及多個(gè)系統(tǒng)相互協(xié)作，用戶需頻繁切換系統(tǒng)才可實(shí)現(xiàn)業(yè)務(wù)。
  3. 很多數(shù)據(jù)應(yīng)用系統(tǒng)邊界不清晰，功能重疊不僅極大浪費(fèi)人力，系統(tǒng)間也難以協(xié)同互通，用戶更是需要花時(shí)間反復(fù)調(diào)研比較，才能最終敲定方案。
  4. 跨部門跨業(yè)務(wù)的數(shù)據(jù)依賴，全靠口頭約定ready時(shí)間，如果上游數(shù)據(jù)延遲，下游將產(chǎn)生連鎖反應(yīng)，引發(fā)數(shù)據(jù)災(zāi)難。
  5. 系統(tǒng)間的數(shù)據(jù)和信息共享，需要兩兩開發(fā)適配，調(diào)用復(fù)雜且耦合度高。
  6. 沒有一套統(tǒng)一的集成框架，系統(tǒng)間集成需要各種開發(fā)適配。

03

—

DSS的核心概念

DSS提出的五大核心概念，專注于解決上述提到的六大痛點(diǎn)問題。

如何分析一站式數(shù)據(jù)應(yīng)用開發(fā)管理門戶DataSphere Studio

1. 一站式
一站式，是DSS提高業(yè)務(wù)用戶主動(dòng)參與數(shù)據(jù)開發(fā)的第一步探索。
DSS通過提供一站式的數(shù)據(jù)應(yīng)用開發(fā)管理界面，讓用戶無需再多方打聽探討，才能確認(rèn)是否有工具能滿足需求，所有的數(shù)據(jù)開發(fā)均可在DSS上找到組件完成。


DSS集成度極高，最新開源版已集成的系統(tǒng)有：

  1. 數(shù)據(jù)開發(fā)探索Scriptis

  2. 數(shù)據(jù)可視化Visualis（基于宜信Davinci二次開發(fā)）

  3. 數(shù)據(jù)質(zhì)量Qualitis

  4. 調(diào)度系統(tǒng)Azkaban

DSS插拔式的框架設(shè)計(jì)模式，允許用戶快速替換DSS已集成的各個(gè)Web系統(tǒng)。如：將Scriptis替換成Zeppelin，將Azkaban替換成DolphinScheduler。


如何分析一站式數(shù)據(jù)應(yīng)用開發(fā)管理門戶DataSphere Studio

DSS一站式的數(shù)據(jù)應(yīng)用開發(fā)入口，使用戶養(yǎng)成了有需求時(shí)搜DSS，沒需求時(shí)探索DSS其他功能組件的良好習(xí)慣。
2. 全連接
在DSS工作流拖拽編輯頁面，DSS已集成的所有數(shù)據(jù)應(yīng)用系統(tǒng)，都將以工作流節(jié)點(diǎn)的形式出現(xiàn)，一種節(jié)點(diǎn)對(duì)應(yīng)一個(gè)系統(tǒng)功能，讓功能邊界清晰明朗，用戶無需再做選擇題。
DSS工作流節(jié)點(diǎn)，支持嵌入已集成的數(shù)據(jù)應(yīng)用系統(tǒng)前端界面，讓用戶在一個(gè)工作流頁面，即可編輯修改所有的業(yè)務(wù)功能。
DSS工作流，讓用戶能以業(yè)務(wù)視角將多個(gè)業(yè)務(wù)功能連接起來，編排成支持實(shí)時(shí)執(zhí)行和定時(shí)調(diào)度的工作流，只需簡單拖拽即可完成數(shù)據(jù)應(yīng)用的全流程開發(fā)。
在微眾銀行，通過DSS的工作流，業(yè)務(wù)數(shù)據(jù)應(yīng)用的迭代周期從原來的1周，降低到1天，效率提升了600%倍。
DSS工作流，做到讓用戶可以簡單快速地實(shí)現(xiàn)業(yè)務(wù)，同時(shí)幫助用戶更好地理解業(yè)務(wù)。

3.插拔式
插拔式是DSS作為數(shù)據(jù)應(yīng)用集成框架的最大特色。
DSS就像是插槽，插拔式的設(shè)計(jì)方式，幾乎不侵入原有的外部系統(tǒng)，且只需做簡單適配，即可快速的集成進(jìn)來。
DSS通過插拔式的集成框架設(shè)計(jì)，讓用戶可以輕松定制化開發(fā)DSS，簡單快速集成各種Web系統(tǒng)，在一個(gè)統(tǒng)一的頁面下，便可滿足用戶的所有業(yè)務(wù)需求。
通過插拔式，讓W(xué)eDataSphere的各個(gè)功能組件既能相互獨(dú)立、系統(tǒng)邊界清晰明確，又能有機(jī)融合在一起，共同構(gòu)成WeDataSphere一站式、全連通的大數(shù)據(jù)使用體驗(yàn)。

4.上下文  
何謂上下文？
保持某種操作繼續(xù)進(jìn)行的所有必需信息。  如：  同時(shí)看三本書，每本書已翻看的頁碼就是繼續(xù)看這本書的上下文。
DSS上下文，解決DSS工作流跨多個(gè)系統(tǒng)節(jié)點(diǎn)間的數(shù)據(jù)和信息共享問題。
例如，B系統(tǒng)需要使用A系統(tǒng)產(chǎn)生的一份數(shù)據(jù)，通常的做法如下：
  1. B系統(tǒng)調(diào)用A系統(tǒng)開發(fā)的數(shù)據(jù)訪問接口
  2. B系統(tǒng)讀取A系統(tǒng)寫入某個(gè)共享存儲(chǔ)的數(shù)據(jù)
DSS借助Linkis計(jì)算中間件實(shí)現(xiàn)的WorkflowContext，允許接入的外部系統(tǒng)作為分享節(jié)點(diǎn)或讀取節(jié)點(diǎn)，將節(jié)點(diǎn)信息和節(jié)點(diǎn)數(shù)據(jù)共享給其他外部系統(tǒng)節(jié)點(diǎn)，無需外部系統(tǒng)兩兩開發(fā)適配，降低系統(tǒng)間調(diào)用復(fù)雜度和耦合度。
借助于DSS上下文，微眾銀行WeDataSphere實(shí)現(xiàn)徹底解耦，各功能組件的復(fù)雜度至少降低了30%。

5.信號(hào)化  
跨部門跨業(yè)務(wù)的數(shù)據(jù)依賴問題，一向是業(yè)界公認(rèn)的老大難。
例如：  部門B的數(shù)據(jù)集市依賴于部門A DWD(Data Warehouse Detail數(shù)據(jù)明細(xì)層)的部分?jǐn)?shù)據(jù)，
如何確保部門A的數(shù)據(jù)處理完成后，部門B才正式開始數(shù)據(jù)處理？
通常的做法是：  雙方約定一個(gè)時(shí)間窗口，部門A保證數(shù)據(jù)已準(zhǔn)備就緒。
中間的空窗期，不僅極大降低了數(shù)據(jù)處理時(shí)效性，且一旦部門A數(shù)據(jù)處理延遲，下游將引發(fā)災(zāi)難。
DSS作為數(shù)據(jù)應(yīng)用開發(fā)門戶，提出了一套基于信號(hào)的數(shù)據(jù)依賴解決方案。
接入到DSS的數(shù)據(jù)應(yīng)用系統(tǒng)，只需在其前面加上一個(gè)信息節(jié)點(diǎn)，即可實(shí)現(xiàn)跨業(yè)務(wù)、多系統(tǒng)間的數(shù)據(jù)依賴協(xié)作執(zhí)行問題。
微眾銀行通過DSS信號(hào)化，讓各業(yè)務(wù)跨多系統(tǒng)的數(shù)據(jù)依賴，變得簡單、清晰又高效，平均提速了業(yè)務(wù)30%的數(shù)據(jù)產(chǎn)出，數(shù)據(jù)延遲率降低了90%。

04

—

DSS核心設(shè)計(jì)理念

AppJoint，DSS插拔式架構(gòu)的插口，是DSS構(gòu)建一站式、全連通、插拔式、上下文的基石。  
AppJoint，是DSS可以簡單快速集成各種上層Web系統(tǒng)的核心概念。

 
什么是AppJoint?  
AppJoint——應(yīng)用關(guān)節(jié)，基于Linkis計(jì)算中間件構(gòu)建，定義了一套統(tǒng)一且規(guī)范的前后臺(tái)接入規(guī)范，
讓外部數(shù)據(jù)應(yīng)用系統(tǒng)可簡單快速地接入到DSS。
AppJoint的四大規(guī)范，讓DSS的數(shù)據(jù)應(yīng)用系統(tǒng)接入，變得清晰又便捷。


Security規(guī)范和Project規(guī)范，是實(shí)現(xiàn)一站式的核心抽象。
  1. Security規(guī)范，打通DSS與外部系統(tǒng)前后臺(tái)的登錄跨域問題。
  2. Project規(guī)范，打通DSS與外部系統(tǒng)的組織結(jié)構(gòu)、權(quán)限體系，是實(shí)現(xiàn)DSS協(xié)同開發(fā)的通用標(biāo)準(zhǔn)。
NodeService規(guī)范和NodeExecution規(guī)范，是實(shí)現(xiàn)全連通的核心基石。
  1. NodeService規(guī)范，打通DSS工作流節(jié)點(diǎn)與外部系統(tǒng)的關(guān)聯(lián)互通。
  2. NodeExecution規(guī)范，實(shí)現(xiàn)DSS工作流節(jié)點(diǎn)與外部系統(tǒng)的任務(wù)交互執(zhí)行。
AppJoint還引入了Linkis計(jì)算中間件，讓接入的外部數(shù)據(jù)應(yīng)用系統(tǒng)，可快速具備Linkis的并發(fā)限流、用戶資源打通等能力。
且基于Linkis實(shí)現(xiàn)的WorkflowContext，允許上下文信息跨系統(tǒng)節(jié)點(diǎn)級(jí)共享，徹底告別應(yīng)用孤島。

05

—

DSS已集成的數(shù)據(jù)應(yīng)用組件

DSS通過實(shí)現(xiàn)多個(gè)AppJoint，已集成了豐富多樣的各種上層Web應(yīng)用系統(tǒng)，基本可滿足用戶的數(shù)據(jù)開發(fā)需求。

用戶如果有需要，也可以輕松集成新的Web應(yīng)用系統(tǒng)，以替換或豐富DSS的數(shù)據(jù)應(yīng)用開發(fā)流程。

1、數(shù)據(jù)開發(fā)——Scriptis  
什么是Scriptis?
Scriptis是一款支持在線寫SQL、Pyspark、HiveQL等腳本，提交給Linkis執(zhí)行的數(shù)據(jù)分析Web工具，且支持UDF、函數(shù)、資源管控和智能診斷等企業(yè)級(jí)特性。
Scriptis AppJoint為DSS集成了Scriptis的數(shù)據(jù)開發(fā)能力，并允許Scriptis的各種腳本類型，作為DSS工作流的節(jié)點(diǎn)，參與到應(yīng)用開發(fā)的流程中。
目前已支持HiveSQL、SparkSQL、Pyspark、Scala等腳本節(jié)點(diǎn)類型。

如何分析一站式數(shù)據(jù)應(yīng)用開發(fā)管理門戶DataSphere Studio

2、數(shù)據(jù)可視化——Visualis  
什么是Visualis?
Visualis是一個(gè)數(shù)據(jù)可視化的BI工具，基于宜信開源組件Davinci二次定制化開發(fā)而成。
Visualis AppJoint為DSS集成了Visualis的數(shù)據(jù)可視化能力，并允許數(shù)據(jù)大屏和儀表盤，作為DSS工作流的節(jié)點(diǎn)，與上游的數(shù)據(jù)集市關(guān)聯(lián)起來。

如何分析一站式數(shù)據(jù)應(yīng)用開發(fā)管理門戶DataSphere Studio

3、DSS的調(diào)度能力——Azkaban  
用戶的很多數(shù)據(jù)應(yīng)用，通常希望具備周期性的調(diào)度能力。
目前市面上已有的開源調(diào)度系統(tǒng)，與上層的其他數(shù)據(jù)應(yīng)用系統(tǒng)整合度低，且難以融通。
DSS通過實(shí)現(xiàn)Azkaban AppJoint，允許用戶將一個(gè)編排好的工作流，一鍵發(fā)布到Azkaban中進(jìn)行定時(shí)調(diào)度。
DSS還為調(diào)度系統(tǒng)定義了一套標(biāo)準(zhǔn)且通用的Linkis工作流解析發(fā)布規(guī)范，讓其他調(diào)度系統(tǒng)可以輕松與DSS實(shí)現(xiàn)低成本對(duì)接。

如何分析一站式數(shù)據(jù)應(yīng)用開發(fā)管理門戶DataSphere Studio

4、數(shù)據(jù)質(zhì)量——Qualitis  
Qualitis AppJoint 為DSS集成數(shù)據(jù)質(zhì)量校驗(yàn)?zāi)芰?，將?shù)據(jù)質(zhì)量系統(tǒng)集成到DSS工作流開發(fā)中，對(duì)數(shù)據(jù)完整性、正確性等進(jìn)行校驗(yàn)。

如何分析一站式數(shù)據(jù)應(yīng)用開發(fā)管理門戶DataSphere Studio

5、數(shù)據(jù)發(fā)送——Sender  
Sender AppJoint為DSS集成數(shù)據(jù)發(fā)送能力，目前支持SendEmail節(jié)點(diǎn)類型，所有其他節(jié)點(diǎn)的結(jié)果集，都可以通過郵件發(fā)送。
例如：  SendEmail節(jié)點(diǎn)可直接將Display數(shù)據(jù)大屏作為郵件發(fā)送出來。

6、數(shù)據(jù)信號(hào)——Signal

Signal AppJoint用于強(qiáng)化業(yè)務(wù)與流程之間的解耦和相互關(guān)聯(lián)。
DataChecker節(jié)點(diǎn)：  檢查庫表分區(qū)是否存在。
EventSender: 跨工作流和工程的消息發(fā)送節(jié)點(diǎn)。
EventReceiver: 跨工作流和工程的消息接收節(jié)點(diǎn)。
7、功能節(jié)點(diǎn)
空節(jié)點(diǎn)和子工作流節(jié)點(diǎn)。

8、節(jié)點(diǎn)擴(kuò)展

根據(jù)需要，用戶可以簡單快速替換DSS已集成的各種功能組件，或新增功能組件。

上述就是小編為大家分享的如何分析一站式數(shù)據(jù)應(yīng)用開發(fā)管理門戶DataSphere Studio了，如果剛好有類似的疑惑，不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道。

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請(qǐng)聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手