您好,登錄后才能下訂單哦!
別人的大數(shù)據(jù)平臺是怎樣的?
別人的大數(shù)據(jù)平臺是怎樣的呢?如果參加過一些大大小小的技術(shù)分享論壇或會議,你應該不難發(fā)現(xiàn),在各種各樣新的諸如“XXX公司大數(shù)據(jù)平臺實踐無敵干貨分享”之類的PPT中,談到大數(shù)據(jù)平臺的技術(shù)組件時,多半都.會給出一個大同小異的系統(tǒng)架構(gòu)圖。
在這個架構(gòu)圖中,各種日志和DB數(shù)據(jù)采集組件、存儲和計算引擎、監(jiān)控和調(diào)度系統(tǒng),不管在實踐中真實的應用情況如何,反正在圖上所有組件一個都不缺,除了個別組件的增減替換,每家公司的大數(shù)據(jù)平臺看起來都沒有太大的區(qū)別。
所以,如果你要問大數(shù)據(jù)平臺的基礎(chǔ)架構(gòu)圖長什么樣,不用自己畫,直接用HortonWorks公司的HDP發(fā)行版套件圖來展示,估計也沒啥大的不妥,如下圖所示。
大 數(shù)據(jù)平臺團隊的職能定位
要談大數(shù)據(jù)平臺的服務化,要評估大數(shù)據(jù)平臺的服務水平,首先就得討論什么是大數(shù)據(jù)平臺的職能定位和服務對象范圍。很不幸的是,這也不是一一個有標準答案的問題。
●在有些公司,大數(shù)據(jù)團隊只負責基礎(chǔ)組件的開發(fā)和運維,為業(yè)務方提供SDK、組件套裝或集群形式的服務。
●在有些公司,基礎(chǔ)組件之上的工具、平臺等,都由專門的工具團隊負責, 層層分工,團隊之間交叉服務。
●在有些公司,不同的事業(yè)部團隊會自行在基礎(chǔ)平臺組件之上,各自垂直地構(gòu)建獨立的業(yè)務系統(tǒng),平臺基礎(chǔ)組件開發(fā)者服務于上層業(yè)務系統(tǒng)開發(fā)人員。
●在有些公司,大數(shù)據(jù)團隊從下到上全鏈路通吃,從集群運維一直負貴到最終具體終端業(yè)務數(shù)據(jù)的產(chǎn)出,對終端使用數(shù)據(jù)的用戶負責。
在大數(shù)據(jù)平臺的所有組件中,工作流調(diào)度系統(tǒng)(Workflow Scheduler)無疑是最重要的核心組件之一一,是任何一個稍微有點規(guī)模且不是簡單做做的大數(shù)據(jù)開發(fā)平臺都必不可少的重要組成部分。
根據(jù)具體語境、稱呼習慣和功能指代范圍的細微不同,工作流調(diào)度系統(tǒng)也常常被叫作作業(yè)調(diào)度系統(tǒng)(Job Scheduler)、任務調(diào)度系統(tǒng)、工作流作業(yè)調(diào)度系統(tǒng),或者在約定場景下干脆被簡稱為調(diào)度系統(tǒng)。下文中我們也可能在不造成歧義的情況下,根據(jù)需要混用這幾種稱呼。
作為一個業(yè)務環(huán)境相對復雜的系統(tǒng),工作流調(diào)度系統(tǒng)涉及的內(nèi)容繁雜,針對的場景多種多樣,實現(xiàn)的方案千差萬別,是一個需要理論和實踐并重的系統(tǒng)。
大數(shù)據(jù)平臺的權(quán)限管理工作,聽起來不就是用戶和密碼管理這點事嗎?先找一個數(shù)據(jù)庫存儲兩者的映射關(guān)系,再找- -一個地方記錄每個人可以做什么事,最后在需要的時候驗證一下就好了。如果不討論各種加解密原理和算法,這個話題有什么值得一談的嗎?
實際上,如果真正接觸過這方面的工作內(nèi)容,你很快就會發(fā)現(xiàn),不論是在技術(shù)層面還是在產(chǎn)品層面,大數(shù)據(jù)平臺環(huán)境下的權(quán)限管理工作都是一一個讓人傷腦筋的燙手山芋。它不僅是一個技術(shù)問題,還是一一個業(yè)務問題,甚至還可能是一個人際溝通和權(quán)衡利益得失的哲學問題。
幸福的家庭都是一樣的,不幸的家庭各有各的不幸。
本來想從如何成為一一名優(yōu)秀的大數(shù)據(jù)平臺開發(fā)工程師的角度入手,但仔細想了一下,從這個角度入手的話,這個話題就太簡單了!雖然我沒有被諸如Jeff Dean之類的大神附體,也不好意思自認為有資格指點江山。但是,講道理這件事,誰不會呢?
好比,炒股票,不就是低買高拋嗎?玩互聯(lián)網(wǎng),不就是拉流量變現(xiàn)嗎?而要想成為一名優(yōu)秀的大數(shù)據(jù)平臺開發(fā)工程師,只要做到深度與廣度并重,鉆研技術(shù)、理解產(chǎn)品、能搭架構(gòu)、能解Bug,那就妥妥的了。
既然道理如此簡單,還需要多解釋嗎?而我們,大概不是輕松地碾壓了巴菲特,就是早已經(jīng)順利地在風口起飛了!
是的,優(yōu)秀的人都是類似的,說起來就太過無聊了。
總之,人生就是一場解決問題的旅程,焦慮在所難免,但適度的危機感也未必是壞事。重要的是,不要讓焦慮過度影響你的判斷,盡量讓自己具備主動選擇未來的能力。
無論各位讀者將來是否從事大數(shù)據(jù)平臺開發(fā)工作,都真心祝愿各位在工作和生活中能直面問題,客觀冷靜地尋找解決方案,用正確的方法論和價值觀為自己贏得一個充實且有價值的人生。
免責聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。