AI威脅論興起？Nature欲發(fā)表“罪犯識(shí)別”研究，遭1700名科學(xué)家聯(lián)名抵制

作者 | 青 暮

編輯 | 蔣寶尚

今日，一份長長的公開信在reddit機(jī)器學(xué)習(xí)版塊火了起來，信的內(nèi)容涉及1700名科學(xué)家聯(lián)名抵制一項(xiàng)人工智能研究發(fā)表在Springer Nature上。

這1700名科學(xué)家，不少是來自MIT、NYU、哈佛等著名學(xué)府以及Google、DeepMind、微軟等知名企業(yè)的學(xué)者。例如《算法霸權(quán)》一書的作者凱西·奧尼爾、Responsible AI 的全球領(lǐng)導(dǎo)者Rumman Chowdhury 博士等等。

聯(lián)合抵制的研究是名為《A Deep Neural Network Model to Predict Criminality Using Image Processing》的論文。

論文的作者是來自美國哈里斯堡大學(xué)的研究人員，在論文中作者聲稱開發(fā)了能夠預(yù)測(cè)某人是否可能成為犯罪分子的自動(dòng)計(jì)算機(jī)面部識(shí)別軟件。并且該軟件具有80％的準(zhǔn)確性，可以僅基于其面部圖片來預(yù)測(cè)某人是否為罪犯。 另外作者還強(qiáng)調(diào)了論文中的算法模型沒有種族偏見。

對(duì)于這篇論文具體所講述的“故事”，其中一個(gè)作者Sadeghian表示：“我們已經(jīng)知道，機(jī)器學(xué)習(xí)技術(shù)在與面部識(shí)別和情感檢測(cè)有關(guān)的各種任務(wù)上可以勝過人類。” “這項(xiàng)研究表明，這些工具可以從圖像中提取出高度可預(yù)測(cè)犯罪的微小特征，從而說明這些工具的功能多么強(qiáng)大。”

1

事件爆發(fā)來源于對(duì)AI威脅論的擔(dān)憂

其實(shí)，這次“1700名科學(xué)家聯(lián)名抵制”事件爆發(fā)其實(shí)是： 人們對(duì)AI技術(shù)中存在的公平性問題或者是AI威脅論長期擔(dān)憂的結(jié)果。比如人臉生成或人臉翻譯模型經(jīng)常因?yàn)樯山Y(jié)果偏向白人而備受吐槽。Yann LeCun也于6月23日在twitter上批評(píng)道：

當(dāng)數(shù)據(jù)有偏差時(shí)，ML系統(tǒng)也會(huì)有偏差。這個(gè)臉部上采樣系統(tǒng)使每個(gè)人看起來都是白人，因?yàn)樵摼W(wǎng)絡(luò)已在FlickFaceHQ上進(jìn)行了預(yù)訓(xùn)練，該數(shù)據(jù)集主要包含白人照片。

如下圖所示，我們能輕易認(rèn)出左邊打碼人臉是奧巴馬，但算法卻將其轉(zhuǎn)換成了一張白人男性的臉。

盡管作者聲稱“僅根據(jù)他們的面部表情來預(yù)測(cè)某人是否為罪犯”、準(zhǔn)確性為“ 80％、沒有種族偏見。”問題是，通過使用“無種族偏見”一詞，他們將算法偏見與社會(huì)偏見混為一談。這句話很好地說明了社會(huì)偏見問題：

由于“犯罪”類別本身是帶有種族偏見的，因此無法開發(fā)一種系統(tǒng)來預(yù)測(cè)或識(shí)別沒有種族偏見的“犯罪”。

在Reddit上網(wǎng)友也對(duì)此事件評(píng)論寫道：

這就是為什么電影《少數(shù)派報(bào)道》如此受歡迎的原因，因?yàn)椤胺缸锴邦A(yù)測(cè)”并沒有道理。即使是預(yù)測(cè)的指示/建議也根本不是一個(gè)好的預(yù)測(cè)。否則，我們將已經(jīng)使用算法對(duì)股票市場進(jìn)行了博弈。我們不會(huì)逮捕21歲以上的成年人飲酒，而是逮捕他們的酒后駕駛。即使21歲飲酒可能是他們可能會(huì)酒后駕車的強(qiáng)烈跡象。

模型可能不會(huì)存在相對(duì)于訓(xùn)練數(shù)據(jù)的“偏見”，但是訓(xùn)練數(shù)據(jù)中本身就存在固有的偏差。基于當(dāng)前數(shù)據(jù)的算法只會(huì)延續(xù)目前存在的不公平偏見鏈。

在美國，我們的《第五修正案》規(guī)定：“除非有大陪審團(tuán)的陳述或起訴，否則任何人不得被要求為死刑或其他以臭名昭著的罪行負(fù)責(zé)”。這項(xiàng)研究的糟糕程度超出了數(shù)據(jù)偏見的范疇，侵犯了我們的自由?！?/span>

也許作為一個(gè)機(jī)器學(xué)習(xí)社區(qū)需要先解決一個(gè)術(shù)語問題，以便我們可以更好地傳達(dá)算法偏見（取決于期望的結(jié)果可能是不期望的）與偏見的社會(huì)觀念之間的區(qū)別。

2

請(qǐng)?jiān)笗爬?/span>

盡管篇幅很長，但這篇請(qǐng)?jiān)笗宄仃U明了圍繞ML公平性所討論的許多問題。

請(qǐng)?jiān)笗刂罚篽ttps://medium.com/@
CoalitionForCriticalTechnology/abolish-the-techtoprisonpipeline-9b5b14366b16

我們來簡單概覽一下這封請(qǐng)?jiān)笗?/span>

親愛的Springer Nature編輯委員會(huì)：

我們寫信給您，代表了各個(gè)技術(shù)、科學(xué)和人文領(lǐng)域（包括統(tǒng)計(jì)、機(jī)器學(xué)習(xí)和人工智能、法律、社會(huì)學(xué)、歷史、傳播研究和人類學(xué)）的專家研究人員和從業(yè)人員。我們共同對(duì)即將出版的研究論文“A Deep Neural Network Model to Predict Criminality Using Image Processing”深表關(guān)注。根據(jù)最近的消息，本文將在您的期刊“Springer Nature — Research Book Series: Transactions on Computational Science and Computational Intelligence”中發(fā)表。

我們敦促：

審核委員會(huì)將公開撤銷該特定研究的發(fā)表，并解釋用于評(píng)估的標(biāo)準(zhǔn)。

Springer Nature發(fā)表聲明，譴責(zé)使用刑事司法統(tǒng)計(jì)數(shù)據(jù)預(yù)測(cè)犯罪行為的做法，并承認(rèn)其過去在激勵(lì)有害學(xué)術(shù)方面的作用。

所有出版商今后都不要發(fā)表類似的研究。

社區(qū)組織者和黑人學(xué)者一直處于執(zhí)法部門對(duì)使用AI技術(shù)的抵制的最前沿，尤其側(cè)重于面部識(shí)別。然而， 即使業(yè)界和研究院投入大量資源來建立用于機(jī)器學(xué)習(xí)和AI的“公平、負(fù)責(zé)和透明”的實(shí)踐，這些聲音仍被邊緣化。

機(jī)器學(xué)習(xí)的吸引力之一是它具有很高的延展性，可以使用任何可能的因果機(jī)制來合理化對(duì)預(yù)測(cè)或檢測(cè)有用的相關(guān)性。

然而，這些研究最終被表示和解釋的方式在很大程度上取決于數(shù)據(jù)科學(xué)的政治經(jīng)濟(jì)學(xué)及其使用環(huán)境。機(jī)器學(xué)習(xí)應(yīng)用不是中立的。機(jī)器學(xué)習(xí)技術(shù)和它們使用的數(shù)據(jù)集通常會(huì)繼承關(guān)于世界的主流文化信仰。這些技術(shù)反映了處于開發(fā)機(jī)器學(xué)習(xí)模型的特權(quán)位置的人們的動(dòng)機(jī)和觀點(diǎn)，以及他們所依賴的數(shù)據(jù)。

對(duì)默認(rèn)假設(shè)的不加批判的接受不可避免地導(dǎo)致算法系統(tǒng)中的歧視性設(shè)計(jì)，重現(xiàn)使社會(huì)等級(jí)制度規(guī)范化并合法化針對(duì)邊緣化群體的暴力行為的觀念。

此類研究不需要研究人員故意的惡意或種族偏見。相反，它是任何領(lǐng)域的預(yù)期副產(chǎn)品，幾乎都是在“預(yù)測(cè)性能”的基礎(chǔ)上評(píng)估其研究質(zhì)量的。

看起來請(qǐng)?jiān)笗男Ч⒏鸵娪啊pringer Nature已經(jīng)在twitter上聲明不會(huì)發(fā)表該論文，不過還不清楚其會(huì)如何回應(yīng)請(qǐng)?jiān)笗木唧w要求。

不同于中國人臉識(shí)別技術(shù)普及的“潤物細(xì)無聲”，在種族主義的背景下，人臉識(shí)別在美國一直處于尷尬的境地。

2018 年的一個(gè)調(diào)查顯示，人臉識(shí)別針對(duì)黑人女性的錯(cuò)誤率高達(dá) 21%-35%，而針對(duì)白人男性的錯(cuò)誤率則低于 1%——這在美國可以說是非常政治不正確的。

IBM更是于今年6月8日宣布不再提供任何人臉識(shí)別和人臉分析軟件。

美國公民自由聯(lián)盟（American Civil Liberties Union，ACLU）稱人臉識(shí)別為 “可能是有史以來最危險(xiǎn)的監(jiān)視技術(shù)”，并多次上書美國政府：要求亞馬遜停止向警方提供其旗下的“Rekognition”人臉識(shí)別技術(shù)。

在美國，黑人群體本身犯罪率更高。 即使技術(shù)本身自稱無偏見，也不可能消除群體差異導(dǎo)致的社會(huì)偏見。如果“罪犯識(shí)別”技術(shù)在實(shí)際應(yīng)用中發(fā)現(xiàn)黑人比白人更可能被識(shí)別為罪犯，難免會(huì)像近期的George Floyd死亡事件那樣再次觸發(fā)美國種族沖突的敏感神經(jīng)。

其次，在算法準(zhǔn)確率上也存在爭議。據(jù)報(bào)道，亞馬遜的圖像識(shí)別 AI 系統(tǒng) “Rekognition” 曾將 28 名美國國會(huì)議員識(shí)別成了罪犯。而盡管這項(xiàng)“罪犯識(shí)別”研究聲稱有80%的準(zhǔn)確率，但是誰也不希望成為那20%，畢竟被誤識(shí)別為罪犯是非常嚴(yán)重的冒犯。

最后，“罪犯識(shí)別”并沒有成為系統(tǒng)的科學(xué)，人臉可能僅僅是非常片面的線索，在小樣本數(shù)據(jù)集上獲得再高的準(zhǔn)確率，也不能保證其在實(shí)踐應(yīng)用中的可靠性。

參考資料：

https://www.reddit.com/r/MachineLearning/comments/heiyqq/dr_a_letter_urging_springer_nature_not_to_publish/

https://twitter.com/SpringerNature/status/1275477365196566528

https://medium.com/@CoalitionForCriticalTechnology/abolish-the-techtoprisonpipeline-9b5b14366b16

https://web.archive.org/web/20200506013352/https://harrisburgu.edu/hu-facial-recognition-software-identifies-potential-criminals/

https://www.toutiao.com/i6841885989133091342/