DataPipeline CTO 陳肅：我們花了3年時(shí)間，重新定義數(shù)據(jù)集成

目前，中國(guó)企業(yè)在×××通、交換、利用等方面仍處于起步階段，但是企業(yè)應(yīng)用數(shù)據(jù)集成市場(chǎng)卻是龐大的。根據(jù) Forrester 數(shù)據(jù)看來，2017 年全球數(shù)據(jù)應(yīng)用集成市場(chǎng)純軟件規(guī)模是 320 億美元，如果包括人工在內(nèi)，將達(dá)到 3940 億美元。

在數(shù)據(jù)應(yīng)用集成領(lǐng)域中，既有 Oracle、SAP、微軟、Informatica 等傳統(tǒng)的 IT 大佬，更有眾多的創(chuàng)新型企業(yè)，其中 DataPipeline 就是一家通過提供批流一體的數(shù)據(jù)融合、數(shù)據(jù)清洗、數(shù)據(jù)同步等服務(wù)，幫助企業(yè)連接內(nèi)外部數(shù)據(jù)孤島，實(shí)現(xiàn)數(shù)據(jù)交換與融合的公司。近日，DataPipeline CTO 陳肅談及了 DataPipeline 的發(fā)展情況、數(shù)據(jù)應(yīng)用集成行業(yè)、公司管理和個(gè)人經(jīng)歷等，以下為采訪實(shí)錄：

一、打破數(shù)據(jù)孤島，重新定義數(shù)據(jù)應(yīng)用集成

1. 請(qǐng)您詳細(xì)介紹目前 DataPipeline 的主要戰(zhàn)略和市場(chǎng)布局？

陳肅：DataPipeline 的目標(biāo)客戶集中于金融、零售、制造，地產(chǎn)、互聯(lián)網(wǎng)行業(yè)，服務(wù)客戶主要具備以下特征：大中型企業(yè)、數(shù)據(jù)價(jià)值密度較高、重視數(shù)據(jù)的時(shí)效性。

差異化戰(zhàn)略包括：

• 支撐有大數(shù)據(jù)應(yīng)用需求的大中型企業(yè)；
• 應(yīng)用可以部署在云上；
• 實(shí)時(shí)性要求高，與以前批量化的不太一樣；
• 能夠支撐業(yè)務(wù)、數(shù)據(jù)、架構(gòu)的變化；
• 用戶體驗(yàn)方面，更強(qiáng)調(diào)自動(dòng)化、智能化。

2. DataPipeline 所處賽道是數(shù)據(jù)應(yīng)用集成，您是如何理解這個(gè)行業(yè)？

陳肅：目前，中國(guó)企業(yè)在×××通、交換、利用方面大部分還處于起步階段，關(guān)鍵原因是沒有做好數(shù)據(jù)集成、數(shù)據(jù)清洗、數(shù)據(jù)同步等基礎(chǔ)工作。

我認(rèn)為，接下來數(shù)據(jù)應(yīng)用集成未來會(huì)產(chǎn)生 3 個(gè)變化：

第一，相較過去而言，會(huì)變得更加復(fù)雜。原來可能只有一些數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)，但是現(xiàn)在有結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，云上、云下、混合云的途徑，數(shù)據(jù)庫和數(shù)據(jù)倉(cāng)庫的對(duì)象存儲(chǔ)等。

第二，時(shí)效性更強(qiáng)。以前數(shù)據(jù)流轉(zhuǎn)比較慢，商業(yè)整體運(yùn)轉(zhuǎn)的速度也會(huì)慢一些，但隨著企業(yè)實(shí)時(shí)決策要求的提高，我們需要根據(jù)數(shù)據(jù)做到及時(shí)分析，因此時(shí)效性要求也隨之提升。

第三，高擴(kuò)展性、靈活變化。隨著社會(huì)的快速發(fā)展，業(yè)務(wù)部門對(duì)數(shù)據(jù)的需求也在時(shí)刻變化。這就意味著用戶的 IT 架構(gòu)、軟件和整體發(fā)展戰(zhàn)略都需要適應(yīng)這種變化。

復(fù)雜度變高，時(shí)效性變快，架構(gòu)變化的程度加深，是數(shù)據(jù)使用面臨的三大挑戰(zhàn)，但相應(yīng)地也會(huì)產(chǎn)生一些新的機(jī)會(huì)。

3. 您認(rèn)為數(shù)據(jù)應(yīng)用集成有多大的市場(chǎng)規(guī)模和潛力呢？

陳肅：Forrester 數(shù)據(jù)表明，2017 年全球數(shù)據(jù)應(yīng)用集成市場(chǎng)純軟件規(guī)模是 320 億美元，如果包括人工在內(nèi)，將達(dá)到 3940 億美元。

Gartner 數(shù)據(jù)也表明，應(yīng)用數(shù)據(jù)集成的細(xì)分領(lǐng)域 iPaaS 在 2017 年首次突破了 10 億美元，增長(zhǎng) 72％。

4. 當(dāng)前數(shù)據(jù)應(yīng)用集成賽道有哪些競(jìng)爭(zhēng)對(duì)手呢？競(jìng)爭(zhēng)焦點(diǎn)主要聚集在哪方面呢？

陳肅：參與市場(chǎng)競(jìng)爭(zhēng)的企業(yè)很多，在數(shù)據(jù)應(yīng)用集成領(lǐng)域，既有 Oracle、SAP、微軟、Informatica 等傳統(tǒng)的 IT 大佬，也不乏一些創(chuàng)新型企業(yè)。但相對(duì)新一代云化、大數(shù)據(jù)實(shí)時(shí)化的數(shù)據(jù)應(yīng)用集成方面來說，新玩家偏少。在中國(guó)，數(shù)據(jù)應(yīng)用集成企業(yè)實(shí)際上是比較缺失的。

目前，在數(shù)據(jù)應(yīng)用集成這個(gè)賽道，一些企業(yè)偏重?cái)?shù)據(jù)集成，一些偏重應(yīng)用集成。還有一些諸如阿里這樣做數(shù)據(jù)中臺(tái)的企業(yè)，他們的覆蓋面與創(chuàng)新企業(yè)相比更為廣泛，其中或多或少都會(huì)有一些差異化，而在基礎(chǔ)技術(shù)創(chuàng)新方面的企業(yè)數(shù)量更少。

另一方面，市場(chǎng)上也有一些應(yīng)用長(zhǎng)達(dá) 10 年的工具，它們都是基于傳統(tǒng)的軟件架構(gòu)；而新出現(xiàn)的工具則偏云化，主要部署在云上，以分布式架構(gòu)支持大量數(shù)據(jù)和實(shí)時(shí)應(yīng)用的工具還是比較少的。

5. 您認(rèn)為 DataPipeline 的主要優(yōu)勢(shì)體現(xiàn)在什么方面呢？DataPipeline 采取了哪些戰(zhàn)略？目前達(dá)到了什么樣的效果呢？

陳肅：在技術(shù)上，DataPipeline 聚焦流式數(shù)據(jù)處理、高性能同步，快速解決數(shù)據(jù)融合問題。

在產(chǎn)品上，DataPipeline 是一家為企業(yè)提供批流一體數(shù)據(jù)融合服務(wù)的公司。通過提供數(shù)據(jù)的批流一體處理、任務(wù)調(diào)度、數(shù)據(jù)質(zhì)量管理、可視化運(yùn)維與監(jiān)控、API 數(shù)據(jù)接入、元數(shù)據(jù)管理等功能，幫助客戶更敏捷、高效地實(shí)現(xiàn)復(fù)雜異構(gòu)數(shù)據(jù)源及目的地?cái)?shù)據(jù)融合等綜合服務(wù)，為客戶靈活的數(shù)據(jù)消費(fèi)需求提供強(qiáng)有力的技術(shù)驅(qū)動(dòng)。

DataPipeline 已經(jīng)成功服務(wù)了星巴克、喜茶、叮當(dāng)快藥等多家行業(yè)領(lǐng)先的企業(yè)客戶，同時(shí)與數(shù)十家產(chǎn)業(yè)上下游合作伙伴建立了戰(zhàn)略合作關(guān)系。

TGO 鯤鵬會(huì)：DataPipeline 下一步的規(guī)劃是什么呢？

陳肅：會(huì)繼續(xù)堅(jiān)持既定的策略，以技術(shù)驅(qū)動(dòng)來服務(wù)客戶，同時(shí)會(huì)持續(xù)投入資源在客戶成功上，為客戶帶來更大的價(jià)值。

二、平時(shí)多流汗，戰(zhàn)場(chǎng)少流血

1. 目前您在團(tuán)隊(duì)中打造什么樣的團(tuán)隊(duì)文化，或者說有什么樣的團(tuán)隊(duì)氛圍及規(guī)則？

陳肅：DataPipeline 有明確的企業(yè)核心價(jià)值觀，總結(jié)下來是客戶成功和個(gè)人成長(zhǎng)，具體有六條——即不忘初心、深挖本源、客戶第一、言出必果、技術(shù)驅(qū)動(dòng)、無私分享，技術(shù)團(tuán)隊(duì)的文化和這六條核心價(jià)值觀一脈相承。

作為一家 ToB 企業(yè)，我們首先強(qiáng)調(diào)客戶第一原則。運(yùn)維、測(cè)試、開發(fā)都要把定位和解決客戶問題放在自己工作的最高優(yōu)先級(jí)。為了減少對(duì)日常研發(fā)工作的干擾，我們建立了輪崗制度，保證每周都有一個(gè)專門的團(tuán)隊(duì)來應(yīng)對(duì)客戶的支撐需求?？蛻舡h(huán)境是復(fù)雜的，有時(shí)候值班同學(xué)會(huì)遇到難以解決的棘手問題。無論何時(shí)，只要值班同學(xué)將問題拋到 On Call 群里，公司的技術(shù)骨干會(huì)立刻進(jìn)行問題會(huì)診、及時(shí)給予應(yīng)對(duì)策略和建議，甚至立刻遠(yuǎn)程接入客戶現(xiàn)場(chǎng)協(xié)助定位問題。當(dāng)然，熬夜加班總歸是不好的，所以我們有完善的倒休制度，保證員工身心健康。

我們每周至少會(huì)有一次團(tuán)隊(duì)的內(nèi)部分享，分享內(nèi)容可以是技術(shù)趨勢(shì)、工作中的設(shè)計(jì)心得和技術(shù)點(diǎn)，也可以是健身技巧和旅游經(jīng)歷。一些較好的技術(shù)主題，經(jīng)提煉后會(huì)由團(tuán)隊(duì)成員去開源社區(qū)的 meetup 進(jìn)行分享。

我們強(qiáng)調(diào)技術(shù)驅(qū)動(dòng)，只有能夠通過程序解決的問題就不要采用“人肉”的辦法，因此測(cè)試和運(yùn)維團(tuán)隊(duì)的同事有很大一部分工作也是寫代碼，通過自動(dòng)化測(cè)試和自動(dòng)化運(yùn)維來提升效率。如果研發(fā)和測(cè)試中遇到問題，我會(huì)鼓勵(lì)他們盡可能地找到根本原因，用優(yōu)雅的方式徹底解決問題。正所謂平時(shí)多流汗，戰(zhàn)場(chǎng)少流血。

2. 您在招聘過程中更看重成員哪些方面？

陳肅：面試時(shí)候主要看技術(shù)深度和理解力。

一般來說，求職者如果有好的學(xué)校背景，通過面試的概率要高一些，但我們也不是只看學(xué)校背景。面試過程中，求職者研發(fā)經(jīng)歷的真實(shí)性、體現(xiàn)出的技術(shù)深度、是否有關(guān)注技術(shù)論壇和閱讀開源項(xiàng)目源碼的習(xí)慣，這些都是我們著重考慮的點(diǎn)。

試用期的員工，我們會(huì)重點(diǎn)考察分析解決問題的能力以及抗壓能力。

3. 您是如何對(duì)團(tuán)隊(duì)成員做激勵(lì)？激勵(lì)的措施主要有哪些？

陳肅：2018 年初，我們建立了季度之星評(píng)選制度，旨在獎(jiǎng)勵(lì)每個(gè)季度做出突出貢獻(xiàn)或取得顯著進(jìn)步的員工。在過去一年多時(shí)間里，獲得季度之星的員工既有早期的技術(shù)骨干，也有新加入同事。我們通過這種形式選拔優(yōu)秀的人才，賦予更多的責(zé)任，給予相應(yīng)的回報(bào)。

隨著公司人員的增長(zhǎng)，我們?cè)诮衲暌肓丝?jī)效考核，以結(jié)果為導(dǎo)向評(píng)估員工的實(shí)際產(chǎn)出，作為晉升和調(diào)薪的主要依據(jù)。

技術(shù)人員選擇一家企業(yè)，除了收入因素外，技術(shù)上的成長(zhǎng)性也是重要的考量。DataPipeline 鼓勵(lì)員工積極參與開源項(xiàng)目的研發(fā)，給予員工專門的時(shí)間做開源相關(guān)的工作。公司也樂于投入資源舉辦或參加技術(shù)論壇，讓員工和領(lǐng)域內(nèi)的高手交流，這也是大家覺得公司技術(shù)氛圍很好的重要原因之一。

4. 您平時(shí)會(huì)鼓勵(lì)團(tuán)隊(duì)成員進(jìn)行創(chuàng)新嗎？主要是通過什么樣的方式呢？

陳肅：創(chuàng)新是 DataPipeline 在競(jìng)爭(zhēng)激烈的數(shù)據(jù)集成市場(chǎng)的生存之本。

我們公司的產(chǎn)品是基于開源框架 Kafka Connect 做的產(chǎn)品，為了適應(yīng)業(yè)務(wù)需要，我們?cè)谶@個(gè)開源框架基礎(chǔ)上做了大量的改造和特性增強(qiáng)，包括端到端數(shù)據(jù)同步一致性、批流一體、源變化檢測(cè)和自動(dòng)適配，優(yōu)化了框架的任務(wù)調(diào)度機(jī)制。

任何團(tuán)隊(duì)成員，只要有好的想法或者發(fā)現(xiàn)值得改進(jìn)的點(diǎn)，都可以自由組織討論會(huì)，邀請(qǐng)相關(guān)同事一起論證方案。當(dāng)方案通過后，會(huì)根據(jù)優(yōu)先級(jí)進(jìn)行排期，納入研發(fā)計(jì)劃。我們特別重視員工自己提出的優(yōu)化點(diǎn)，在評(píng)選季度之星和績(jī)效評(píng)估時(shí)，我們也會(huì)優(yōu)先考慮作出過這方面貢獻(xiàn)的員工。

三、理解客戶核心需求，尊重行業(yè)發(fā)展規(guī)律

1. 能分享一下您的創(chuàng)業(yè)經(jīng)歷嗎？在創(chuàng)業(yè)過程中，您印象最深刻的是什么事情？從中有什么收獲嗎？

陳肅：2010 年，我從×××博士畢業(yè)后，第一份工作是在中國(guó)移動(dòng)研究院做精準(zhǔn)營(yíng)銷平臺(tái)的算法工程師，后來逐步升任項(xiàng)目經(jīng)理、用戶行為實(shí)驗(yàn)室技術(shù)負(fù)責(zé)人。

2015 年初，我離開了中國(guó)移動(dòng)研究院，和朋友開始了第一次創(chuàng)業(yè)。我們做了一家在線教育公司，主打英語培訓(xùn)，最初的想法是希望用機(jī)器學(xué)習(xí)技術(shù)，幫助用戶提升學(xué)習(xí)效率。公司從 36 氪孵化器起家，獲得天使輪融資，成為第二期畢業(yè)企業(yè)。

在初期，為了獲取流量，我們嘗試了做一些引流功能，例如實(shí)時(shí)的托?？嘉徊樵兒涂嘉活A(yù)定?？恐@些引流應(yīng)用，我們的用戶日活增長(zhǎng)很快，應(yīng)用程序在 App Store 和主要國(guó)內(nèi) Android 市場(chǎng)的細(xì)分品類下的排名也長(zhǎng)期位于前列，因此順利拿到了 A 輪融資。

A 輪之后，我們開始做流量轉(zhuǎn)化，開發(fā)了一系列付費(fèi)課程以及配套的自適應(yīng)學(xué)習(xí)系統(tǒng)。為提升直播交互體驗(yàn)，我們自研了一套不依賴視頻流的直播系統(tǒng)，能夠以極低的帶寬需求進(jìn)行課件直播，同時(shí)減少網(wǎng)絡(luò)卡頓的影響。2016 年教師節(jié)，這套系統(tǒng)正式上線運(yùn)營(yíng)。之后的一年多時(shí)間里，我們開始驗(yàn)證公司的商業(yè)運(yùn)行模式。但很遺憾，營(yíng)收情況一直沒有大的起色。2017 年底，公司被另一家在線教育公司收購(gòu)。此后，我便加入了 DataPipeline，由 ToC 領(lǐng)域轉(zhuǎn)向 ToB。

第一次創(chuàng)業(yè)，我印象最深刻的是，團(tuán)隊(duì)用了 45 天就做出了一款 App，并在 90 天內(nèi)完成了天使輪融資，這種成就感和幸福感是無與倫比的。我深刻體會(huì)到，無論資源有多么匱乏，一群有著共同愿景目標(biāo)的伙伴都能夠克服困難，爆發(fā)出無窮的戰(zhàn)斗力。但后來商業(yè)化嘗試失敗讓我認(rèn)識(shí)到，市場(chǎng)是殘酷的，僅有技術(shù)創(chuàng)新不足以讓一家創(chuàng)業(yè)企業(yè)存活。你需要深刻理解客戶群體的核心訴求，尊重行業(yè)的自身規(guī)律，才有可能獲得商業(yè)上的成功。

因?yàn)橛辛说谝淮蔚慕?jīng)歷，我相信選擇和努力同樣重要，于是我選擇在 DataPipeline 開始了第二次創(chuàng)業(yè)。盡管在過去三年多里，公司已經(jīng)取得一定的成績(jī)，但整個(gè)團(tuán)隊(duì)依然有非常強(qiáng)的生存危機(jī)感。更難能可貴的是，團(tuán)隊(duì)總是非常坦誠(chéng)的去討論這些問題：到底是客戶選擇有問題，還是產(chǎn)品功能不夠豐富，亦或是某些方面的深度不足？團(tuán)隊(duì)成員之間沒有埋怨和相互推脫，有的只是共同發(fā)現(xiàn)問題和解決問題，這讓我非常欣慰。

2. 目前您遇到最大的挑戰(zhàn)是什么？有解決辦法了嗎？

陳肅：在中國(guó)做 ToB 企業(yè)服務(wù)有一個(gè)共性的挑戰(zhàn)：服務(wù)產(chǎn)品化和客戶需求個(gè)性化的矛盾。

我們發(fā)現(xiàn)，單純靠產(chǎn)品很難完全滿足客戶，尤其是大客戶的全部需求。一些共性的新需求可以放到產(chǎn)品迭代去解決，但是與客戶的其它系統(tǒng)集成和一些偏具體業(yè)務(wù)邏輯的需求，則要由現(xiàn)場(chǎng)實(shí)施團(tuán)隊(duì)進(jìn)行定制化開發(fā)來解決。

為了解決這個(gè)矛盾，我們做了以下嘗試。首先，將產(chǎn)品接口對(duì)外開放，以便于客戶將 DataPipeline 與自有系統(tǒng)進(jìn)行集成，包括可以通過已有的調(diào)度系統(tǒng)來控制 DataPipeline 的任務(wù)行為；其次，我們提供了二次開發(fā)工具，遇到暫時(shí)沒有以標(biāo)準(zhǔn)化組件提供的上下游連接器需求，可以由客戶或我們的駐場(chǎng)團(tuán)隊(duì)快速開發(fā)；最后，我們盡可能將運(yùn)維流程標(biāo)準(zhǔn)化，并開發(fā)了一套排查工具，可以讓客戶快速定位問題是來自 DataPipeline，還是定制開發(fā)部分。

這些嘗試的最終目標(biāo)是，實(shí)現(xiàn)產(chǎn)品的運(yùn)維自助化，盡可能降低運(yùn)維服務(wù)的人力和時(shí)間成本。

3. 在您曾經(jīng)解決過的難題中，最有成就感的是哪一次呢？

陳肅：相比于技術(shù)上的問題，我覺得如何協(xié)調(diào)好研發(fā)和客戶服務(wù)是一個(gè)更大的難題。

在 DataPipeline 成立初期，人員很少，研發(fā)、售前、運(yùn)維都是由幾個(gè)開發(fā)人員扛起來的。不可否認(rèn)的是，在一定時(shí)間內(nèi)，這種模式體現(xiàn)出了它的高效性：開發(fā)人員對(duì)于業(yè)務(wù)邏輯和代碼最熟悉，他們可以直接回答客戶的各種細(xì)節(jié)問題，必要的時(shí)候還可以現(xiàn)場(chǎng)寫代碼解決程序 bug 和適配方面的問題。

隨著客戶數(shù)量的增長(zhǎng)，這種粗分工模式越來越暴露出它的問題。第一，產(chǎn)品越來越復(fù)雜，對(duì)研發(fā)進(jìn)度和質(zhì)量的控制要求日趨嚴(yán)格。開發(fā)人員頻繁因?yàn)榭蛻糁С直淮驍嗍诸^的工作，嚴(yán)重影響效率；第二，部分開發(fā)人員并不擅長(zhǎng)和客戶溝通，容易產(chǎn)生誤解；第三，大部分現(xiàn)場(chǎng)問題都可以按照一個(gè)標(biāo)準(zhǔn)的流程定位和解決，從成本考慮，讓開發(fā)人員去做現(xiàn)場(chǎng)排查并不經(jīng)濟(jì)。

于是，我們開始招募售前、運(yùn)維團(tuán)隊(duì)，嘗試將研發(fā)人員從客戶服務(wù)中剝離。但面臨一個(gè)新的難題：如何將知識(shí)和技能有效地傳遞給售前和運(yùn)維團(tuán)隊(duì)。DataPipeline 的產(chǎn)品定位決定了我們的售前工程師通常需要和客戶進(jìn)行技術(shù)細(xì)節(jié)的交流，而運(yùn)維工程師要做到快速定位問題發(fā)生的環(huán)節(jié)。

舉例來說，客戶反饋說數(shù)據(jù)同步慢，這個(gè)慢可能發(fā)生在上游讀取、Kafka 的 IO、下游寫入目的地等各個(gè)環(huán)節(jié)，又或者是集群任務(wù)調(diào)度因?yàn)槟承┰蛳萑肓瞬环€(wěn)定狀態(tài)。運(yùn)維工程師要有能力進(jìn)行甄別，解決運(yùn)維層面的問題，協(xié)同研發(fā)人員定位解決疑似代碼層面的問題。為了讓售前和運(yùn)維團(tuán)隊(duì)能夠相對(duì)獨(dú)立的服務(wù)客戶，我們定了如下規(guī)矩：

（1）所有售前和運(yùn)維工程師進(jìn)入公司后，從產(chǎn)品使用和技術(shù)原理方面開始集中培訓(xùn)。要求售前和運(yùn)維都能夠回答關(guān)于產(chǎn)品使用層面的問題，熟悉產(chǎn)品核心技術(shù)點(diǎn)，例如高可用、數(shù)據(jù)一致性、動(dòng)態(tài)擴(kuò)容、性能影響因素、高級(jí)清洗的使用等等。要求售前能夠在客戶現(xiàn)場(chǎng)進(jìn)行 POC 部署，運(yùn)維能夠在研發(fā)不干預(yù)的情況下進(jìn)行產(chǎn)品性能調(diào)優(yōu)和故障排查；

（2）研發(fā)人員只有在確定是 bug 和性能缺陷的情況下，才能直接和客戶接觸。其余問題一律通過售前人員或運(yùn)維人員進(jìn)行解答。遇到未知問題，售前人員和運(yùn)維人員可以向研發(fā)需求幫助，并記錄后放到知識(shí)庫中。

通過這種方式，我們目前基本將研發(fā)人員從日常的客戶服務(wù)中解放出來，也進(jìn)一步提升了客戶的服務(wù)滿意度。