知人知面不知心：為什么面部表情不能真實反映情緒？

大數(shù)據(jù)文摘出品

來源：nature

編譯：趙吉克、馬莉、李雷、錢天培

AI面部情緒識別軟件鋪天蓋地，但心理學家對其根本假設(shè)就存有質(zhì)疑。

我們能否通過面部表情來識別情緒呢？

開心時眉開眼笑，生氣時眉頭緊皺，吃驚時瞪大眼睛。人類表達情緒的表情似乎雖不完全相同，卻也還算整齊劃一。

這不，許多AI也開始學習如何通過面部表情判斷對象的情緒。通過“觀看”一張張面部表情的照片，配上情緒的標簽，AI就可以相當準確地預(yù)測出一張從未出現(xiàn)在訓練數(shù)據(jù)中的人臉的情緒。

然后，再回到最一開始的問題：通過面部表情識別情緒，這件事本身靠不靠譜呢？對于這個問題，心理學家們已經(jīng)爭論了近百年。

2018年，心理學家Rachael Jack和她的同事招募了80人參加一項有趣的測試。

測試者被展示成百上千張人臉。有的睜大眼睛，有的緊閉雙唇。有些人眼睛緊閉，臉頰抬高，嘴巴張開。面對每個面孔，他們必須回答這個簡單的問題：Ta正在經(jīng)歷性高潮還是突發(fā)疼痛？

這一測試正式想要探討一個長期存在且高度敏感的問題：面部表情能如實傳達情感嗎？

事實上，幾十年來，研究人員一直在問人們，他們在別人臉上看到了什么情緒。研究涵蓋了來自不同國家的成年人和兒童，以及世界偏遠地區(qū)的土著居民。

20世紀60年代和70年代，美國心理學家保羅·埃克曼(Paul Ekman)進行了一項頗具影響力的觀察，結(jié)果表明，在全世界范圍內(nèi)，人們都可以從面部表情相對準確地推斷出情緒狀態(tài)——這似乎意味著情緒表情是普遍存在的。

這些思想在當時沒有受到挑戰(zhàn)，但新生代心理學家和認知科學家一直在重新審視這些數(shù)據(jù)，并對結(jié)論提出質(zhì)疑。許多研究人員認為，現(xiàn)實圖景比描述的要復(fù)雜得多，而且面部表情在不同的語境和文化之間存在很大差異。例如，Jack的研究發(fā)現(xiàn)，盡管西方人和東亞人對臉部如何表現(xiàn)痛苦有相似的概念，但他們對快樂的表達有不同的看法。

研究人員對?？寺慕Y(jié)論有效性的分歧越來越大，但這場辯論并沒有阻止公司和政府接受他的說法，即面部表情是情緒的預(yù)言。例如，在諸多的西方法律體系中，解讀被告的情緒是公平審判的一部分。正如美國最高法院(US Supreme Court)法官安東尼?肯尼迪(Anthony Kennedy)在1992年所寫的那樣，這樣做對于“了解罪犯的內(nèi)心和思想”是必要的。

解碼情緒也是?？寺鼮槊绹\輸安全管理局(TSA)設(shè)計的培訓項目的核心。項目名為SPOT(通過觀察技術(shù)對乘客進行篩查)，目的是教會運輸安全管理局的工作人員如何對乘客進行監(jiān)控，以發(fā)現(xiàn)幾十種潛在的可疑跡象，這些跡象可能暗示著壓力、欺騙或恐懼。該項目于2007年推出，但它受到了科學家、美國國會議員和美國公民自由聯(lián)盟(American Civil Liberties Union)等組織的廣泛批評，稱它不準確，存在種族偏見。

這樣的擔憂同樣適用于科技企業(yè)的行為。一些公司已經(jīng)開發(fā)了軟件來評估求職者的適合程度、檢測謊言、讓廣告更具吸引力，以及診斷從癡呆癥到抑郁癥的各種疾病。據(jù)估計，該行業(yè)的價值高達數(shù)百億美元。包括微軟(Microsoft)、IBM和亞馬遜(Amazon)在內(nèi)的科技巨頭，以及更多的專業(yè)公司，如馬薩諸塞州波士頓的艾里蒂瓦(affect tiva)和佛羅里達州邁阿密的神經(jīng)數(shù)據(jù)實驗室(NeuroData Lab)，都提供了旨在從面部識別一個人的情緒的算法。

由于研究人員仍在爭論人們是否能真實有效地表達或感知情感，許多業(yè)內(nèi)人士認為，讓電腦自動表達情感還為時過早——尤其是在這項技術(shù)可能產(chǎn)生破壞性影響的情況下。紐約大學的研究中心AI Now研究所甚至呼吁禁止在招聘或執(zhí)法等敏感場合使用情緒識別技術(shù)。

俄亥俄州立大學哥倫布分校研究面部表情的阿歷克斯·馬丁內(nèi)斯(Aleix Martinez)說，即使是對人來說，面部表情也極難解讀。考慮到這一點，他說，對于自動化的趨勢，“我們應(yīng)當格外謹慎”。

人類的臉有43塊肌肉，可以拉伸、提升和扭曲成幾十種表情。盡管人類活動范圍很廣，但科學家們長期以來一直認為，某些特定的表情傳達了特定的情感。

達爾文是推動這一觀點的人之一。他1859年出版的《物種起源》一書，是艱苦野外工作的成果，是觀察方面的大師之作。而他的第二部最有影響力的作品，則是《人與動物的情感表達》(1872)。

達爾文注意到，靈長類動物的面部表情看起來也有人類的情緒表達，比如厭惡或恐懼，并認為這些表情一定具有某種適應(yīng)功能。例如，噘起嘴唇、皺起鼻子和瞇起眼睛——一種與厭惡有關(guān)的表情——可能是為了保護個體免受有害病原體的侵害。只有當社交行為開始發(fā)展時，這些面部表情才會有更多的交流作用。

達爾文的情感專著中有大量的擺姿勢的表達，比如這些主題盡力模仿悲傷。

?？寺?0世紀60年代第一次進行跨文化實地研究支持了這一假設(shè)。他測試了全世界范圍內(nèi)6種主要情緒的表達和感知——快樂、悲傷、憤怒、恐懼、驚訝和厭惡，這甚至包括了新幾內(nèi)亞的一個偏遠地區(qū)。

埃克曼告訴《自然》雜志，他選擇這六種表達方式是出于實際原因。他說，有些情緒，如羞愧或內(nèi)疚，無法明確量化?！?strong>我關(guān)注的六種情緒確實有表達方式，這意味著它們是可以研究的。”

埃克曼說，這些早期的研究證明了達爾文進化論所期望的普遍性。后來的研究也支持了這一觀點，即某些面部表情可能具有適應(yīng)優(yōu)勢。

波士頓東北大學(Northeastern University)研究情緒的心理學家麗莎?費爾德曼?巴雷特(Lisa Feldman Barrett)表示:“長期以來，人們一直認為面部表情是一種必須的動作?！睋Q句話說，我們的臉無法隱藏我們的情緒。這種假設(shè)的一個明顯的問題是，人們可以偽造情感，可以在不動用面部的情況下體驗情感。?？寺鼒F隊的研究人員承認，每種情緒表達的“金標準”可能存在相當大的差異。

但越來越多的研究人員認為，這種差異是如此之大，以至于判斷標準都擴展到了臨界閾值。這一觀點得到了大量文獻的支持。幾年前，《公共利益心理科學》(Psychological Science in the Public Interest)雜志的編輯們召集了一組意見相左的作者，請他們回顧相關(guān)文獻。

領(lǐng)導(dǎo)這個團隊的巴雷特說:“我們盡了最大的努力把先驗知識放在一邊，放棄假設(shè)，深入研究了數(shù)據(jù)。當出現(xiàn)分歧時，我們只是擴大了尋找證據(jù)的范圍?！彼麄冏罱K閱讀了大約1000篇論文。兩年半之后，研究小組得出了一個明顯的結(jié)論:幾乎沒有證據(jù)表明，人們可以從一組面部動作準確推斷出他人的情緒狀態(tài)。

該小組援引了一些研究作為一個極端，這些研究發(fā)現(xiàn)面部活動與內(nèi)在情感狀態(tài)沒有明顯關(guān)聯(lián)。英國萊斯特郡德蒙福特大學的心理學家Carlos Crivelli一直研究巴布新幾內(nèi)亞特羅布里恩群島的居民，在他的研究中沒有發(fā)現(xiàn)任何支持Ekman結(jié)論的證據(jù)。Crivelli總結(jié)認為，試圖通過外部標記來衡量內(nèi)在精神狀態(tài)就好比是在用長度來測量質(zhì)量。

共同表情（universal expressions）缺乏證據(jù)支持的另一原因則是面部并不能代表情感的全部。在我們感知和表現(xiàn)情感的過程中，包括肢體語言、性格、語氣、膚色變化在內(nèi)的其他方面也發(fā)揮著重要作用。例如，情緒狀態(tài)的變化會影響血流，從而進一步影響到膚色。Martinez與他的同事已經(jīng)證明，膚色變化與情緒能夠關(guān)聯(lián)起來。視覺環(huán)境，例如背景場景，也能提供某些人情緒狀態(tài)的線索。

從左上開始：籃球運動員Zion Williamson慶賀灌籃；墨西哥球迷慶祝世界杯小組賽勝利；2012年歌手Adele獲得格萊美年度最佳專輯；Justin Bieber在墨西哥城音樂會現(xiàn)場叫喊

其他研究人員認為，對Ekman研究結(jié)果的辯論（push-back）有些過熱，尤其是Ekman本人。2014年，為了回應(yīng)Barrett的批評，Ekman明確指出了一系列支持他之前結(jié)論的研究工作，包括關(guān)于人類自然的面部表情的研究、以及表情與隱藏其下的大腦與身體狀態(tài)關(guān)聯(lián)性的研究。

他寫道，這些工作表明，面部表情不僅傳遞了個體感情的信息，而且還能提供神經(jīng)心理激活模式的信息。他說，他的觀點沒有改變。

加拿大溫哥華英屬哥倫比亞大學的心理學家Jessica Tracy認為，基于反面例證斷定Ekman共同性理論錯誤的研究者們有些言過其實。她說，在一類人群或一種文化中，理解憤怒的面部表情略有差異并不能推翻整個理論。她引用了將近100項研究的分析結(jié)果，發(fā)現(xiàn)大部分人在看到一張憤怒的面孔時能識別出來。“大量證據(jù)表明，全球大多數(shù)文化的大多數(shù)人看得出這個表情是共通的?！?/span>

Tracy和另外三位心理學家爭辯說，Barrett的文獻綜述諷刺了他們的立場，認為他們是在六種情緒和面部活動間建立一對一的僵化映射。阿姆斯特丹大學的Disa Sauter說：“我所知的情感科學領(lǐng)域的研究人員都不認為是這么回事。”

Sauter和Tracy認為，理解面部表情需要建立一個信息豐富的情感分類系統(tǒng)。不能把幸福（happiness）視為單一的情感，研究人員應(yīng)該對情感類別進行分解，幸福（happiness）項下涵蓋了joy（愉悅）、pleasure（滿足）、compassion（同情）、自豪（pride）等等。每種情感的表情可能不同，可能重合。

這場辯論的核心是如何定義“顯著”。在一項研究中，參與者需要在6個情感標簽中為他們看到的每張面孔挑選一個。一些研究人員可能認為，一個標簽被選擇了超過20%次就代表了顯著的共性。其他研究人員或許認為20%比例太低。Jack爭辯說Ekman的閾值太低。她閱讀了Ekman博士期間的論文。她說，“我一直找我的導(dǎo)師，給他看這些60-70年代的圖表，每張圖表都表明文化認知的巨大差異?，F(xiàn)在仍然沒有數(shù)據(jù)可以表明，情感能被普遍認知?！?/span>

除了顯著性之外，研究人員對主觀性也存在爭論。許多研究依賴于測試初始時實驗人員貼情感標簽，以便于最終結(jié)果能夠比較。Barrett、Jake和其他研究人員試圖尋找更加中立的方法來研究情感。Barrett期望利用生理指標，為憤怒（anger）、恐懼（fear）或愉悅（joy）提供近似表征。Jack利用計算機隨機生成的面部表情，而不是利用張貼的照片，以避免固化在常見的六種表情上。其他研究人員要求參與者將面部歸入能捕獲情感的盡可能多的類別中；或者選擇不同文化的參與者，并使用他們自己的語言標記圖片。

科技公司常常不允許他們的算法有自由聯(lián)想的空間。典型的情感識別AI程序需要輸入數(shù)百萬張面部圖片和數(shù)百小時視頻片段，其中每種情緒都做了標注，程序能從中識別模式。

Affectiva聲稱，它的軟件接受了來自87個國家700多萬張面孔的訓練，準確率達到了90%以上。該公司拒絕評論其算法的底層理論。Neurodata Lab承認，面部表達情緒存在差異，但當一個人某種情緒發(fā)作時，出現(xiàn)某些面部形態(tài)會更加頻繁，他們的算法則考慮了這種共同性。然而，出于對訓練算法的數(shù)據(jù)的顧慮以及學界尚存爭論的事實，前述辯論雙方的研究人員對這類軟件均有質(zhì)疑。

Ekman說，他已經(jīng)直接挑戰(zhàn)了這些公司的言論。他寫信給幾家公司（他沒有說明是哪幾家公司，只說他們是全球最大的幾家軟件公司），要求查看其自動化技術(shù)可行的相關(guān)證據(jù)，但至今尚未收到回復(fù)。他說：“據(jù)我所知，他們正在對沒有事實根據(jù)的東西進行主張。”

Martinez承認，自動情緒檢測只能揭示一類人一般的情緒反應(yīng)。例如，Affectiva面向營銷機構(gòu)銷售軟件，標榜該軟件有助于預(yù)測某類客戶對一個產(chǎn)品或營銷活動的反應(yīng)。

即使軟件犯錯，也無關(guān)緊要——只是廣告宣傳可能比預(yù)計效果略差一些罷了。但有些算法正應(yīng)用于對人們生活有重大影響的領(lǐng)域，如工作面試和邊境檢查。去年，匈牙利、拉脫維亞和希臘試點應(yīng)用了一個預(yù)先篩選旅行者的系統(tǒng)，旨在通過分析臉上的微表情來發(fā)現(xiàn)欺詐。

解決情感與表情的辯論需要不同類型的調(diào)查。Barrett上個月拜訪了微軟，并經(jīng)常要求向技術(shù)公司展示她的研究。她認為研究者需要做達爾文撰寫《物種起源》時所做的工作：“觀察、觀察、觀察”。觀察人們在現(xiàn)實生活中用面部和身體來表達什么，而不僅僅是在實驗室觀察。利用機器記錄和分析現(xiàn)實世界的片段。

Barrett認為，更多的數(shù)據(jù)和分析技術(shù)有助于研究人員發(fā)現(xiàn)新東西，而不是要重溫陳舊的數(shù)據(jù)和實驗。技術(shù)公司們急切地開發(fā)著她和許多人日益視為不可靠的科學，因此她向那些技術(shù)公司發(fā)出了公開挑戰(zhàn)。

她說：“我們正站在絕壁上。人工智能公司將繼續(xù)采納這些有缺陷的假設(shè)，還是去做那些需要做的事呢？”

相關(guān)報道：

https://www.nature.com/articles/d41586-020-00507-5