說說這些年做的云計算和大數(shù)據(jù)項目

       入行十幾年了，做了不少分布計算、并行計算、內(nèi)存計算、海量數(shù)據(jù)處理的項目，按照現(xiàn)在的分類，這些都屬于云計算/大數(shù)據(jù)范疇。今天說說我做過的其中三個項目，只三個。         第一個是我們接到的視頻分享網(wǎng)站的視頻轉(zhuǎn)碼的訂單，網(wǎng)站名字就不說了，有替人宣傳嫌疑。他們情況是這樣，視頻網(wǎng)站的內(nèi)容用MP4格式在網(wǎng)頁上播放，但是上傳的格式多種多樣，我們必須把這些視頻統(tǒng)一轉(zhuǎn)換成MP4格式，視頻轉(zhuǎn)碼的工作想必大家都在自己的電腦上試過，通常一個100M左右的視頻轉(zhuǎn)碼需要20分鐘以上（CPU是Pentium IV）。為了提高轉(zhuǎn)碼效率，讓用戶以接近實時得到結(jié)果，必須在收完視頻后，立即將一個視頻拆分成多個單元，分散到多臺計算機上進(jìn)行轉(zhuǎn)碼，然后回收所有轉(zhuǎn)碼視頻，按照順序再次組合成一個新視頻。我估計現(xiàn)在視頻網(wǎng)站都是這個套路。我們這個團隊最早是做流媒體起家的，工作沒什么難度，輕車熟路，很快就完成了。只要機器足夠多，視頻差不多可以以接近實時的狀態(tài)完成轉(zhuǎn)碼。后來又再一次改進(jìn)，從用戶上傳視頻開始立即進(jìn)行轉(zhuǎn)碼，收到一段轉(zhuǎn)一段，用戶的視頻上傳完畢，我們的轉(zhuǎn)碼工作也完成，用戶可以馬上看到自己上傳的轉(zhuǎn)碼后視頻，基本上是零延時，并且穩(wěn)定性、效率都高于對方提出的要求。做完這個，合作方老板很滿意，接著又給了一個CDN的項目。現(xiàn)在我們?nèi)员３种献鞯年P(guān)系。            

       第二個有點玄乎，項目可以寫一篇論文，題目是《關(guān)于空中移動目標(biāo)運行軌跡和落點的問題》。這個項目是XXX發(fā)下來的，實質(zhì)就是炮彈打×××，大概是想看看能不能打著，論證技術(shù)可行性。當(dāng)時人還在某單位，因為研究領(lǐng)域和空氣動力學(xué)毫不相關(guān)，所以這方面的知識基本屬于文盲，知道的也就是那么幾個有限的名詞和數(shù)學(xué)公式，但是這正好符合XXX的要求，不需要我們懂這些高深的理論，他們派人和我們合作這個項目。我們的工作就是把很多傳感器（他們沒明說，但是地球人都明白這東西應(yīng)該是雷達(dá)）接收的數(shù)據(jù)，包括當(dāng)前多少公里范圍內(nèi)的空氣的風(fēng)速、風(fēng)向、地表的曲面率，還有其它一些指標(biāo)在收集后（這些瞬間產(chǎn)生的三維數(shù)據(jù)的數(shù)據(jù)量非常大），分散到一大堆計算機上去執(zhí)行（測試時準(zhǔn)備了100個節(jié)點），并且要很快計算出結(jié)果（必須比空中運動的目標(biāo)快）。這其實和現(xiàn)在的SPARK、STORM做的工作很象，要依賴大內(nèi)存、高性能CPU、和高速網(wǎng)絡(luò)，跳過硬盤這個瓶頸，才能得以實現(xiàn)快速計算。這個項目花了很長時間，主要是與合作方的溝通改進(jìn)，然后是再溝通再改進(jìn)，循環(huán)往復(fù)，周而復(fù)始。后來終于完成了，據(jù)說做了試驗，可行性很高，上面領(lǐng)導(dǎo)很滿意，還擺了慶功酒。反正我沒見著也沒喝著。其實他們怎么計算的，我到最后也沒有搞明白，問過一次，說是秘密。         

       第三個和兩桶油的頁巖氣有關(guān)。當(dāng)前的背景是在四川涪陵（這個地方還產(chǎn)榨菜）發(fā)現(xiàn)了大面積的天然氣，按照自然規(guī)律，油氣是共生的，所以兩桶油想通過采集頁巖樣本，分析這個地區(qū)地下有沒有石油資源，如果有，是不是具有開采價值。這套程序原本已經(jīng)是有的，艾克森.美孚石油公司開發(fā)的，跑在CARY-1向量機上。那套機器是上世紀(jì)七八十年代的超級計算機，在當(dāng)時已經(jīng)不能滿足需要，屬于進(jìn)博物館之列。有些數(shù)據(jù)分析理論已經(jīng)過時，需要調(diào)整。兩桶油最不滿意的還是速度太慢，計算一次要幾小時幾天才能出結(jié)果。這一次又是合作，兩桶油出熟悉采油的技術(shù)專家，我們出并行計算的碼農(nóng)，前前后后合作弄了大半年，算是完成了。這次我們用了新的并行算法，效率提高了一大截。和上次炮彈打×××一樣，整個項目靜悄悄開始，靜悄悄結(jié)束，后面怎么樣就不知道了。