昨日種種已得獎，那深度學(xué)習(xí)三巨頭今天在忙什么？

上周，AI圈最大的事情，沒有之一，就是圖靈獎，終于終于，終于頒給了深度學(xué)習(xí)三巨頭。

關(guān)于Geoffrey Hinton和他的兩位學(xué)生Yoshua Bengio、Yann LeCun的故事，在消息出來后的幾天里，理所當(dāng)然完成了刷屏。

即使AI從業(yè)者和愛好者基本已經(jīng)對這三位的事跡耳熟能詳，但他們“高舉著火焰，沖過了最黑暗的時代”的英雄主義情結(jié)，還是能夠輕易讓遠離AI世界的人們動容。

“三巨頭”和深度學(xué)習(xí)的經(jīng)歷，事實上是一幕從學(xué)術(shù)邊緣開始，在產(chǎn)業(yè)狂歡中自證，再回頭征服主流學(xué)術(shù)界的故事。起伏線索簡直比好萊塢大片還要好萊塢。

然而現(xiàn)實人生和電影最大的區(qū)別或許在于，電影可以在高潮處戛然而止，留給觀眾意味深長的壯美。但生活還要繼續(xù)，日子還得過，AI還得發(fā)展。深度學(xué)習(xí)并不會因為圖靈獎的到來而畫上圓滿的句號。

如果說三巨頭在全世界都不相信深度學(xué)習(xí)時的執(zhí)拗，最終換來了圖靈獎和一句句“泰斗”的贊美聲;那么我們今天更應(yīng)該留意的，或許是在深度學(xué)習(xí)如日中天的現(xiàn)在，三巨頭又在忙活著什么?他們現(xiàn)在所忙的，是不是又映射著AI的未來?

咱們不妨換個角度，不說他們可歌可泣的當(dāng)年，而是聊聊三巨頭的現(xiàn)在。

需要注意的是，這里并不打算把三人及團隊的每一篇論文都整理出來，而是希望從他們在AI爆發(fā)之際的選擇，讀出些許關(guān)于深度學(xué)習(xí)未來走勢與先天不足的底層規(guī)律。

Yann LeCun：產(chǎn)學(xué)候鳥與AI圈魯迅

三巨頭中最頻繁活躍在大眾視線里的，是Yann LeCun。

為什么很多不認識Hinton的人也認識Yann LeCun?這個AI界的未解之謎有很多解釋。

不靠譜的解釋包括，Yann LeCun這個名字非常適合寫成楊麗坤，所以好記。再比如說他的招牌式笑容很容易讓人覺得AI沒那么枯燥。

而靠譜的解釋是，Yann LeCun是三人中進入產(chǎn)業(yè)世界程度最深的那一位，甚至一度被視作AI科學(xué)家走向商業(yè)世界的代表人物。

2013年，Yann LeCun突然加入Facebook是一件非常有爆炸力的事。大家既不理解Facebook要AI科學(xué)家干嘛，也不明白Yann LeCun去一個社交媒體做什么。

來到Facebook之后，Yann LeCun一手創(chuàng)立了FAIR。這不是個律師事務(wù)所，而是Facebook人工智能實驗室。

必須要承認，作為FAIR一把手的Yann LeCun，在那幾年間是有不少作為的。比如大幅度提升了Facebook的自動化運營能力，提高了廣告等Facebook生命線的智能化程度。而另一方面，充滿理想主義精神和學(xué)者氣息的Yann LeCun還把FAIR搞成了硅谷最有烏托邦味道的實驗室之一。

在Facebook，F(xiàn)AIR的專家們關(guān)注那些天馬行空的前瞻性技術(shù)，以及AI如何在未來造福全人類。在扎克伯格的默許與支持下，F(xiàn)AIR的紅火甚至一度被認為是硅谷的工程師文化要向科學(xué)家文化交槍。

此外，Yann LeCun個人魅力也成為Facebook快速招到頂級科學(xué)家的利器，5年中，F(xiàn)AIR擴大到6個辦公地點，有近100名研究員。與吳恩達、李飛飛并列，Yann LeCun也被稱為由學(xué)校到企業(yè)的三位AI明星之一。

但隨著團隊規(guī)模的不斷擴大，Yann LeCun作為理想派科學(xué)家，逐漸暴露出了團隊管理能力的不足。加上2017年Facebook風(fēng)雨飄搖，在整體業(yè)務(wù)改革之后，業(yè)務(wù)線開始向FAIR索取更多直接的、有助于提升業(yè)務(wù)質(zhì)量或者變現(xiàn)能力的技術(shù)——而這并非Yann LeCun所愿與所長。

始終保留著紐約大學(xué)教職的Yann LeCun，在2018年1月宣布辭去了FAIR負責(zé)人的職務(wù)，轉(zhuǎn)向幕后擔(dān)任首席科學(xué)家。而這也被外界解讀為一個信號：似乎和吳恩達、李飛飛一樣，頂級科學(xué)家真的不那么容易在大企業(yè)高管的位置上長治久安。

而在產(chǎn)業(yè)的探索之外，Yann LeCun的另一個人設(shè)，堪稱AI圈里的魯迅——路見不平一聲twitter，該罵你時候絕不休息。

不少人感覺Yann LeCun有點過于“好作驚人語”，但其實要看到更大的背景在于，今天圍繞著深度學(xué)習(xí)到底是什么，未來會怎么發(fā)展，以及AI有沒有用等一系列問題，滋生出了無盡的爭議。

而作為AI行內(nèi)最大的明星之一，Yann LeCun似乎也在某種程度上有義務(wù)出來正本清源。

讓咱們回顧一下讓Yann LeCun啟動開懟模式的三件事：

1、對著名的人形機器人，全球首位“機器公民“索菲亞。Yann LeCun怒斥其為 “徹頭徹尾的騙局”“完全是胡說八道”。在Yann LeCun看來，所謂索菲亞不過是一具放錄音的模型而已，對它的“物體崇拜”會讓人們覺得AI就是在變戲法。真正的AI想要達到嬰兒甚至動物的智商，還要走很遠的路。

2、硅谷鋼鐵俠馬斯克，近兩年的愛好是到處說AI就要毀滅人類了。Yann LeCun認為這種說法非常不負責(zé)任。在他看來，馬斯克就是跟一些樂觀派的科學(xué)家聊天，又回家看了一些想象成分居多的書，然后就產(chǎn)生了《終結(jié)者》馬上要實現(xiàn)的想法。加上眾所周知馬斯克總想拯救人類，最后導(dǎo)致了我們聽到的那些聲音。而在Yann LeCun看來，科學(xué)家是知道那種強AI不太可能在幾年內(nèi)實現(xiàn)的，馬斯克的言論是在散布恐慌。

3、去年，一位計算機視覺專家Filip Piekniewski連續(xù)發(fā)表了《深度學(xué)習(xí)已死》之類的“雄文”，高唱深度學(xué)習(xí)泡沫要破。Yann LeCun則馬上開啟了回懟模式，直言作者“非常無知”，指出這位作者首先沒有看到學(xué)術(shù)和產(chǎn)業(yè)界的現(xiàn)實，其次用一些無關(guān)的證據(jù)強行證明AI“寒冬來了”的結(jié)論。比如作者提到AI藥丸，一大證據(jù)是AI科學(xué)家發(fā)twitter少了——氣的Yann LeCun趕緊發(fā)了一堆twitter。

總結(jié)一下，會發(fā)現(xiàn)Yann LeCun開懟的主要是三種聲音：假AI、AI威脅論，AI寒冬論。

其實環(huán)顧左右，這三種論調(diào)是不是也飄散于我們身邊呢?

Yoshua Bengio：保衛(wèi)象牙塔，鎮(zhèn)守加拿大

說了最高調(diào)的，再說說最低調(diào)的Yoshua Bengio。

之所以說他低調(diào)，是因為Yoshua Bengio可說是三巨頭中最不愿意探索產(chǎn)業(yè)世界的一位。他在必然出現(xiàn)的重金誘惑面前，也沒有加入那幾家我們耳熟能詳?shù)目萍季揞^，而是選擇繼續(xù)留在蒙特利爾大學(xué)的象牙塔里，享受著加拿大的好山好水。

然而隨著自己發(fā)明的深度學(xué)習(xí)越來越火，Yoshua Bengio發(fā)現(xiàn)事情并不簡單?？萍季揞^和投資人開始瘋狂向?qū)W校搶人。深度學(xué)習(xí)方向的博士變成了炙手可熱的香餑餑，直到Y(jié)oshua Bengio發(fā)現(xiàn)，他還沒畢業(yè)的博士都已經(jīng)被饑渴的科技公司瓜分干凈。這位科學(xué)家決心要保衛(wèi)象牙塔的純凈。

他的辦法是，自己開一家公司……

咳咳，事實上，Yoshua Bengio是在幾位合伙人的勸說下，決定共同建立一個新型的產(chǎn)學(xué)一體化機構(gòu)。我們知道AI界有著名的OpenAI，專注無不商業(yè)目標的開源項目，讓科學(xué)家能在企業(yè)完成自己的夢想。

而Yoshua Bengio與合伙人聯(lián)合創(chuàng)立的Element AI，則反其道而行之。它致力于讓AI科學(xué)家們可以直接參與商業(yè)項目，獲取相關(guān)回報，但同時能夠保留教職——比如每周只用抽出幾個小時來來Element AI干活，大家一起做做項目賺賺外快就行了。

這種有點像AI科學(xué)家在線兼職的模式，可以有效解決一個問題：創(chuàng)業(yè)企業(yè)和傳統(tǒng)企業(yè)，根本無力與科技巨頭爭搶AI人才，但他們卻實打?qū)嵉匦枰狝I人才來幫忙。這樣一種模式可謂兩全其美。

很快，Element AI就獲得了微軟的投資，現(xiàn)在在深入各行業(yè)定制AI解決方案之外，也開始與大公司的聯(lián)合科研，以及對優(yōu)質(zhì)AI項目進行投資和技術(shù)幫助。而對于客戶來說，Yoshua Bengio本人就是商業(yè)合作上的金字招牌。

Yoshua Bengio的另一個工作重心，是學(xué)校里的蒙特利爾學(xué)習(xí)算法研究所(MILA)。MILA和Element AI一學(xué)一產(chǎn)，構(gòu)成了蒙特利爾AI產(chǎn)業(yè)的雙核驅(qū)動。今天，加拿大AI的快速發(fā)展，以及蒙特利爾被稱為AI時代的硅谷，都與Yoshua Bengio的工作緊密相關(guān)。

嗯，至少目前來看，這位象牙塔守護者，加拿大AI之星，還是比較好地完成了任務(wù)。

Yoshua Bengio還有一項比較出名的行動，是在AI社會責(zé)任與公益領(lǐng)域廣泛擔(dān)當(dāng)呼吁者。比如他帶頭反對谷歌的軍方項目，呼吁終止AI武器化。并且積極推動關(guān)注AI中的歧視與不公平問題。

假如給Yoshua Bengio近年來的工作打上三個標簽，那就是：學(xué)術(shù)的，公益的，加拿大的……

Geoffrey Hinton：懷疑者，依舊懷疑

與兩位50多歲的學(xué)生相比，已經(jīng)72歲的老師Hinton，似乎應(yīng)該閑下來，享受“AI教父“的尊名，指導(dǎo)指導(dǎo)學(xué)生，籌劃一下傳記。

然而事實并非如此，Geoffrey Hinton今天依舊在保持高強度的工作。被腰間盤疾病困擾的他，甚至必須要站著完成所有研究。與兩位學(xué)生和大部分功成名就的同行相比，Hinton更像是工作在AI一線的那一個。

簡單來說，那個又倔又橫的小伙子，如今變成了個又倔又橫的老頭。

曾經(jīng)在一次采訪中，Geoffrey Hinton被問到為什么能在幾十年的不被重視中堅持下來，他的回答非常酷也非常Hinton。他說：

“他們都錯了。”

直到今天，Hinton還是認為有可能所有人都錯了，包括他自己。

1986年，Hinton發(fā)表了《Learning representations by back-propagation errors》，這是Hinton一生的代表作之一，標志著反向傳播算法被引進深度學(xué)習(xí)，今天來看有著跨時代的意義。

然而Hinton在近兩年卻頻頻表示，反向傳播有可能存在這巨大的缺陷。他不但自己嘗試了多種方式突破它，還將大量相關(guān)研究綜合起來，寫論文對比如何擺脫反向傳播的窠臼——直到現(xiàn)在，他還沒有超越自己，但并不代表以后不能。

Geoffrey Hinton是一個徹頭徹尾的懷疑者，這點并沒有因為他變成“泰斗”而改變。

在產(chǎn)業(yè)世界，Hinton的主要工作在谷歌大腦。近兩年，TensorFlow的簡化升級，谷歌大腦的AI能力拓展，背后都有Hinton與團隊的身影。

而作為“教父”一樣的存在，Hinton更被人關(guān)注的是在AI學(xué)術(shù)領(lǐng)域不斷提出的顛覆性觀點。恰好這又是一個樂于顛覆自己和其他人工作的人。

2017年年底，Hinton發(fā)表了名為膠囊網(wǎng)絡(luò)Capsule Networks的方案，被廣泛認為將改寫深度學(xué)習(xí)的發(fā)展軌跡。

膠囊網(wǎng)絡(luò)所針對的，是卷積神經(jīng)網(wǎng)絡(luò)的操作模式。傳統(tǒng)的深度學(xué)習(xí)算法中，每一層神經(jīng)網(wǎng)絡(luò)必須做同樣的卷積運算。而膠囊網(wǎng)絡(luò)則認為，不同的神經(jīng)元可以攜帶不同屬性，這就像人腦中的不同區(qū)域負責(zé)不同的工作。

這種將深度學(xué)習(xí)進行稀疏激活的顛覆式方案，目前已經(jīng)被證明可以在圖像識別領(lǐng)域達成創(chuàng)新。不少人相信，膠囊網(wǎng)絡(luò)未來會成為AI可解釋、AI被賦予常識的關(guān)鍵技術(shù)。

近幾年，Hinton帶來的另一個顛覆，是在暗知識提取dark knowledge extraction領(lǐng)域不間斷的工作。一般來說，深度學(xué)習(xí)獲取抽象特征，是建立在龐大的數(shù)據(jù)運算基礎(chǔ)上的。而這會導(dǎo)致AI必須消耗大量的數(shù)據(jù)和算力來反復(fù)完成訓(xùn)練。而暗知識提取，或者叫知識蒸餾，則致力于讓智能體之間可以提取隱藏的知識，把一部分知識留存到子深度學(xué)習(xí)系統(tǒng)，最終達成智能體擺脫龐大的算力與數(shù)據(jù)渴求，觸及相對先天的“智能”。

可以看到，Hinton在今天依舊那么硬核。很多在AI世界看似常識的東西，AI之父卻壓根不相信它，并且在反復(fù)挑戰(zhàn)。

AI走到頭了嗎?深度學(xué)習(xí)是最終解法嗎?這老頭一輩子從來沒相信過大多數(shù)人的判斷。

三巨頭的今天：深度學(xué)習(xí)，從1到很多

假如說，三巨頭高舉火把，四下無人的那些年，是深度學(xué)習(xí)從0到1的時代。

那么今天全世界的深度學(xué)習(xí)熱， 毫無疑問標志著深度學(xué)習(xí)開始從1到N。然而從三巨頭今天的工作來看，它也僅僅才到1而已。

不知道大家注意到?jīng)]有，三巨頭今天主要關(guān)注的方向，恰恰對應(yīng)著以深度學(xué)習(xí)為代表的這一次AI復(fù)興，所攜帶的先天不足，以及后天激發(fā)的問題。把三巨頭的工作強行合并，可以看到這樣幾個方向：

1、AI到底是空談還是事實?解決這個問題，必須把深度學(xué)習(xí)扔到產(chǎn)業(yè)熔爐當(dāng)中，在算力、數(shù)據(jù)和應(yīng)用場景里，檢驗深度學(xué)習(xí)到底能干什么。而這也是大量AI科學(xué)家必須去企業(yè)的邏輯之一。

2、AI火了之后，各種亂七八糟的事情一定會出來飛舞，需要有人把火車拉回軌道。Yann LeCun在社交媒體上四面開火就是因為這個。索菲亞的把戲、馬斯克的AI威脅論，以及“AI寒冬又來了”，這幾個說法今天在中國一定有大批擁護者。不難看出問題還是挺尖銳的。

3、AI的人才匹配與平衡問題。這輪AI復(fù)興的一個特征，是高度的產(chǎn)學(xué)一體化，導(dǎo)致學(xué)術(shù)人才可以直接與應(yīng)用打通。然而學(xué)術(shù)人才如何在產(chǎn)業(yè)誘惑面前保持學(xué)術(shù)追求，產(chǎn)業(yè)如何在巨頭爭搶下獲得AI人才幫助，這個問題在中國同樣存在。

4、深度學(xué)習(xí)是把雙刃劍，軍事化、歧視與不公、因素安全等問題隨之產(chǎn)生。AI的社會責(zé)任，是一個刻不容緩的矛盾。

5、深度學(xué)習(xí)，不是終點。反向傳播，多層神經(jīng)網(wǎng)絡(luò)等等技術(shù)模式構(gòu)成了我們習(xí)以為常的那個“AI”。但是深度學(xué)習(xí)依舊有大量問題存在，比如黑箱性，遷移能力差，高消耗等等。我們是把今天的AI當(dāng)成原教旨，還是繼續(xù)挑戰(zhàn)，尋找更上層的終點?這點Hinton這位“深度學(xué)習(xí)之父”真是帶了個好頭。

功績當(dāng)然偉大，問題還有一堆。今天，三巨頭還在工作，他們在為他們的造物負責(zé)。