80后阿里P10，“關(guān)老板”如何帶著MaxCompute一路升級(jí)？

關(guān)濤的花名取自諧音：觀濤。有種看海觀濤的閑適，但在MaxCompute技術(shù)團(tuán)隊(duì)里，因?yàn)閳F(tuán)隊(duì)既要做核心技術(shù)，也要“落地拿結(jié)果”，承擔(dān)阿里云的客戶規(guī)模和營收，像一個(gè)小的創(chuàng)業(yè)公司，所以大家更喜歡叫他關(guān)老板，一下子就世俗親近了起來。

關(guān)老板是個(gè)北方人，大高個(gè)也帶著些書生氣。因?yàn)楣ぷ鞯年P(guān)系，帶領(lǐng)著一支跨國團(tuán)隊(duì)，兩岸四地奔波（太平洋兩岸，北京、杭州、西雅圖、加州），說話間偶爾喜歡中英文match一下。

“我是一個(gè)興趣驅(qū)動(dòng)型的人，職業(yè)生涯總的來說，還算挺幸運(yùn)的，做自己感興趣的事情，走上IT這一行……”

如果有認(rèn)識(shí)關(guān)濤的人，應(yīng)該會(huì)忍不住說上一句：這家伙，運(yùn)勢(shì)太好了吧。

“特別特別久以前，大概初中的時(shí)候有了自己的第一臺(tái)電腦，大名鼎鼎的486，帶一個(gè)數(shù)學(xué)協(xié)處理器，主頻266MHz，內(nèi)存只有4M。”

喜歡玩游戲的都知道，往往會(huì)碰見有些關(guān)卡比較難，闖不過去的情況。當(dāng)時(shí)的關(guān)濤就想著：怎么能夠繞開系統(tǒng)這些設(shè)置？于是查了很多雜志也看了很多書，試圖去改游戲存檔，那個(gè)階段他第一次知道什么是十六進(jìn)制，也是最初接觸編程。

最后自己折騰著，操縱游戲角色大殺四方，簡直無敵。讓程序按照自己的意愿運(yùn)行的感覺，“嘿，還好玩的?！?/span>

于是，開始覺得這個(gè)專業(yè)（計(jì)算機(jī)）不錯(cuò)。到了高中畢業(yè)的時(shí)候，因?yàn)閿?shù)學(xué)競(jìng)賽被保送到南開大學(xué)，當(dāng)時(shí)的一個(gè)選擇是可以進(jìn)數(shù)學(xué)系，南開的王牌專業(yè)，但最后，關(guān)濤還是因?yàn)榕d趣選擇了計(jì)算機(jī)。

人生的分叉口有很多，有時(shí)候做了第1個(gè)選擇，后面的路都會(huì)開始相通，看似順勢(shì)而為，其實(shí)都是選擇的結(jié)果。

從200公里的北京到8000多公里的西雅圖

工作需要定期make a little change

2006年，關(guān)濤畢業(yè)了。這意味他要開始自己的職業(yè)生涯了，他有些躍躍欲試。

研究生的3年，因?yàn)閷?dǎo)師有額外要求：不能去實(shí)習(xí)，這讓關(guān)濤對(duì)于招聘市場(chǎng)并不那么了解，對(duì)于微軟同樣是“沒有太多的認(rèn)知”。但北京有個(gè)MSRA，微軟亞洲研究院，據(jù)說是當(dāng)時(shí)最好的R&DCenter。

抱著試試看的心態(tài)，經(jīng)歷了一整天的面試后，關(guān)濤順利地拿到了offer。 他回憶：“好像也不是那么難”。

在離家鄉(xiāng)河北承德200公里遠(yuǎn)的北京，關(guān)濤一呆就是6年，是微軟Bing搜索北京團(tuán)隊(duì)最初的幾十個(gè)人之一。從偏存儲(chǔ)層到計(jì)算層，在項(xiàng)目里不斷地去充實(shí)自己。他是個(gè)興趣驅(qū)動(dòng)的人，但在工作中愿意變成完美主義者。

在關(guān)濤看來，不管是生活還是職業(yè)發(fā)展，定期去make a little change是很好的選擇，保持新鮮感的同時(shí)，能看到學(xué)到更多的東西。從被別人帶著寫代碼、到自己獨(dú)立負(fù)責(zé)一些板塊，再到自己帶項(xiàng)目小組、帶大一點(diǎn)的技術(shù)團(tuán)隊(duì)，這些都需要有一個(gè)自我時(shí)間界定，把握自己的發(fā)展節(jié)奏。

6年微軟后，他也準(zhǔn)備make a bigger change：申請(qǐng)去了美國西雅圖的微軟總部。

8000多公里以外的城市，冬天不太冷，夏天不太熱，還有他最愛的單板滑雪，以至于一直堅(jiān)持在每年的最后一天自駕去不同的滑雪地。

在美國期間，關(guān)濤繼續(xù)深入做交互式查詢、StructuredData優(yōu)化推動(dòng)等，也積累了很多跨國技術(shù)團(tuán)隊(duì)管理的經(jīng)驗(yàn)。 “美國有近40年的歷史，團(tuán)隊(duì)成員比北京的團(tuán)隊(duì)更資深一些，在美國能夠看到不一樣的人，看到不一樣的項(xiàng)目。”

而在微軟的10年時(shí)間里，關(guān)濤也關(guān)注到了國內(nèi)以BAT為代表的本土企業(yè)，他們發(fā)展的很好，而且有更高的加速度……

西雅圖分部第22號(hào)員工

10年后的回歸，面對(duì)更多的挑戰(zhàn)

“當(dāng)時(shí)海外辦公室剛建起來，我是阿里西雅圖分部的第22號(hào)員工。”

“在微軟10年，國內(nèi)是什么情況？”好奇心不斷膨脹，于是在一次偶然的機(jī)會(huì)，關(guān)濤跳去了阿里，成為了阿里巴巴通用計(jì)算平臺(tái)MaxCompute團(tuán)隊(duì)里的一員。這是2016年1月。

MaxCompute的前身是ODPS，阿里內(nèi)部統(tǒng)一的大數(shù)據(jù)平臺(tái)，目前99%的數(shù)據(jù)存儲(chǔ)以及95%的計(jì)算能力都在這個(gè)平臺(tái)上產(chǎn)生，如果把阿里巴巴集團(tuán)的數(shù)據(jù)體系比作航母戰(zhàn)斗群，那么MaxCompute就是中間的航空母艦。

面對(duì)這樣一個(gè)已經(jīng)發(fā)展了近6年的相對(duì)成熟、體量極為龐大的平臺(tái)，挑戰(zhàn)非常多。而2016年1月入職阿里，2016年年會(huì)上就接過了MaxCompute的掌舵者位置，從0到1已經(jīng)做完了，如何做到從1到10？留給關(guān)濤的時(shí)間并不多。

他認(rèn)為，大型系統(tǒng)逐步發(fā)展，是一個(gè)不斷自我進(jìn)化的過程，大數(shù)據(jù)系統(tǒng)也不例外。

微軟的經(jīng)歷給了他一些幫助：包括同樣都是大數(shù)據(jù)引擎（規(guī)模上有較大差異），之前的技術(shù)和工程經(jīng)驗(yàn)都能復(fù)用。而豐富的跨國技術(shù)團(tuán)隊(duì)管理經(jīng)驗(yàn)也讓關(guān)濤更加適應(yīng)阿里的工作。

從MaxCompute1.0到MaxCompute2.0

“我們是在飛行的飛機(jī)上換引擎”

關(guān)濤回憶：“當(dāng)時(shí)進(jìn)來的時(shí)候，MaxCompute1.0 其實(shí)是在一個(gè)技術(shù)的成熟期上，承接了阿里巴巴內(nèi)部和阿里云的核心業(yè)務(wù)，而引擎升級(jí)有技術(shù)風(fēng)險(xiǎn)和問題（我們稱為Regression，包括功能和性能的）。為了保證對(duì)上層透明，我們先做了一個(gè)框架升級(jí)，支持把引擎的不同版本同時(shí)部署在線上，一點(diǎn)一點(diǎn)地把流量切過來，同時(shí)觀察效果?！敝笤龠M(jìn)行引擎層面的大手術(shù)。

有點(diǎn)像是“在飛行的飛機(jī)上換引擎”。

如今的MaxCompute2.0相較于1.0版本，規(guī)模達(dá)到近10萬臺(tái)，性能提升超過1倍以上，每年為阿里巴巴節(jié)省預(yù)算超過20億，同時(shí)也讓阿里的大數(shù)據(jù)引擎可以在未來3-5年架構(gòu)上有個(gè)相對(duì)好的布局。

• MaxCompute2.0的具體內(nèi)容，可以在云棲社區(qū)的論壇上搜索MaxCompute進(jìn)行了解~

技術(shù)團(tuán)隊(duì)如何管理

關(guān)濤的看法是：技術(shù)管理者歸根結(jié)底還是一個(gè)管理者。

1、首先考慮的不是自己要做什么事情而是幫助團(tuán)隊(duì)做什么事情，更多的有一種“利他”的責(zé)任感。

2、技術(shù)前瞻性，技術(shù)團(tuán)隊(duì)管理者是要帶著團(tuán)隊(duì)有目標(biāo)地、正確地往前走，把握未來方向非常重要。 

3、招聘層面，思考如何招到合適的人，如何進(jìn)行人才布局?，F(xiàn)在是人才在哪辦公地點(diǎn)就在哪的階段。

從大數(shù)據(jù)角度看阿里雙十一

不增加棋子，僅依靠挪動(dòng)棋盤上的子，就完成布局守住將軍。當(dāng)然，在此之前，團(tuán)隊(duì)把MaxCompute已經(jīng)從1.0版本切到了2.0版本，性能的提升也是支持雙十一數(shù)據(jù)量的關(guān)鍵。

在硬件只增加不到三分之一的基礎(chǔ)上，處理數(shù)據(jù)相較去年翻了一番，達(dá)到單日處理600PB的規(guī)模。可以說，MaxCompute在這一戰(zhàn)役中發(fā)揮得不錯(cuò)，甚至比去年更為優(yōu)秀。

未來：云化、新硬件、非結(jié)構(gòu)化計(jì)算、非關(guān)系型計(jì)算、AI是趨勢(shì)

DBA或?qū)⒈惶蕴?/strong>

去年的時(shí)候，原阿里云總裁胡曉明說：“互聯(lián)網(wǎng)的云計(jì)算競(jìng)爭(zhēng)是世界寡頭經(jīng)濟(jì)的全面競(jìng)爭(zhēng)，在我看來，就是杭州和西雅圖的競(jìng)爭(zhēng)。誰擁抱技術(shù)，誰就擁抱未來。”場(chǎng)主深以為然。

關(guān)濤認(rèn)為：目前云計(jì)算已經(jīng)從互聯(lián)網(wǎng)企業(yè)向傳統(tǒng)企業(yè)蔓延，例如杭州的城市大腦和“最多跑一次“項(xiàng)目，是2G（To Government）的項(xiàng)目。還有基于工業(yè)大腦的工業(yè)4.0項(xiàng)目等。

從目前的市場(chǎng)態(tài)度來看，企業(yè)或許可以更加開放一些，歡迎和擁抱這種技術(shù)變化，完成自我的數(shù)字化轉(zhuǎn)型。“云計(jì)算不會(huì)是寡頭反而會(huì)是普惠”，關(guān)濤說。

1、 新硬件的發(fā)展

計(jì)算層面越來越與新硬件的創(chuàng)新緊密結(jié)合，硬件會(huì)帶來平臺(tái)革命。例如芯片類的CPU（AVX、SIMD）、ARM眾核架構(gòu)、GPU，F(xiàn)PGA，ASIC，存儲(chǔ)類的NVM、SSD、SRM，網(wǎng)絡(luò)類的智能網(wǎng)卡和RDMA等新硬件的發(fā)展，新硬件與軟件的配合是值得關(guān)注的發(fā)展方向。

2、 非關(guān)系型計(jì)算領(lǐng)域（圖計(jì)算）有很多機(jī)會(huì)

大數(shù)據(jù)現(xiàn)在還是在關(guān)系型的處理層面，包括流和批都是基于關(guān)系型數(shù)據(jù)的計(jì)算，事實(shí)上，現(xiàn)在非關(guān)系的計(jì)算越來越流行了，包括知識(shí)圖譜、畫像等越來越有價(jià)值，這些數(shù)據(jù)組織不是關(guān)系型表達(dá)，而是以點(diǎn)邊的形式用圖的方式表達(dá)，更符合物理抽象，比如人和貨的關(guān)系，在風(fēng)控層面，知識(shí)圖譜層面，用來描述物理實(shí)體的關(guān)系更合適。

明年初，將會(huì)推出MaxCompute的圖計(jì)算系統(tǒng)MaxGraph，支持圖存儲(chǔ)、查詢、模式匹配和GraphEmbedding等機(jī)器學(xué)習(xí)運(yùn)算。

3、 非結(jié)構(gòu)化數(shù)據(jù)將變成大數(shù)據(jù)的主流

越來越多的短視頻、圖片、語音類數(shù)據(jù)，并隨著IoT的發(fā)展，可能占據(jù)80%的數(shù)據(jù)量，由于這類數(shù)據(jù)的特性在于結(jié)構(gòu)各不相同，且數(shù)據(jù)非常大但是單位價(jià)值不高（相比傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)），如何快速高效的解析和處理非結(jié)構(gòu)化數(shù)據(jù)，是計(jì)算平臺(tái)的關(guān)鍵挑戰(zhàn)。

去年的時(shí)候MaxCompute發(fā)布了一個(gè)非結(jié)構(gòu)化數(shù)據(jù)處理模塊，能夠用戶自定義的方式處理包括視頻音頻在內(nèi)的數(shù)據(jù)。

4、 Al for Everything（also for BigData）

DBA或?qū)⒈惶蕴?/span>

大數(shù)據(jù)的特點(diǎn)是大，不僅僅是包括數(shù)據(jù)的處理規(guī)模，還包括了整個(gè)的海量數(shù)據(jù)的管理和優(yōu)化。傳統(tǒng)數(shù)據(jù)庫領(lǐng)域依靠DBA人力去管理的模式將不再適用。

用Al優(yōu)化數(shù)據(jù)分布、數(shù)據(jù)管理、做計(jì)算優(yōu)化和成本優(yōu)化（例如自動(dòng)SubQuery合并，智能索引建立等）?！白尨髷?shù)據(jù)無人駕駛”，這也是未來的趨勢(shì)。