不公正的AI算法，正折射出人類的偏見

圖片來源@全景視覺

鈦媒體注：本文來源于微信公眾號硅兔賽跑（ID：sv_race），作者丨Molly Fosco，編譯丨Vivian，責(zé)編丨Lu，鈦媒體經(jīng)授權(quán)發(fā)布。

01、 標簽和類別無法充分反映個體的復(fù)雜性和潛力

在阿巴拉契亞山脈下田納西州長大的Alice Xiang，是在以白人為主的學(xué)校里為數(shù)不多的亞裔學(xué)生之一。

隨著她進入“高級班”，她發(fā)現(xiàn)同齡人越來越多地來自中上層家庭。她的許多小學(xué)同學(xué)，家庭背景不那么優(yōu)越的，走上了前途機會較少的路。

這段經(jīng)歷讓Xiang記憶猶新，因為她后來考上了哈佛、牛津、耶魯?shù)染⒋髮W(xué)。事實上，這也是她現(xiàn)在作為Partnership on AI（PAI）的研究科學(xué)家，專門研究算法公平性的主要原因之一。

她說，在田納西州長大的經(jīng)歷，讓她認識到標簽和類別 "可能無法充分反映個體的復(fù)雜性和潛力"。

當Xiang開始職業(yè)生涯時，在第一次訓(xùn)練機器學(xué)習(xí)算法的時候，她發(fā)現(xiàn)她個人認為相關(guān)的數(shù)據(jù)會很大程度上影響這個過程。而她的同事們亦是如此。

"這讓我很不舒服，圍繞這些算法做決定的人都住在大城市，上過研究生，而且不會與和他們身份背景有很大不同的人有什么來往，"她說。值得注意的是，她的同事中很少有女性或少數(shù)族裔。

從事技術(shù)工作的女性相當稀少是一個有據(jù)可查的話題，而且這個狀況幾乎沒有被改善。 與整個行業(yè)的其他技術(shù)角色相比，如網(wǎng)絡(luò)開發(fā)、用戶體驗設(shè)計或數(shù)據(jù)科學(xué)，女性在人工智能領(lǐng)域的比例尤其令人擔憂。

而來自谷歌、蘋果、Facebook等科技巨頭的專家，以及該領(lǐng)域的許多研究人員都表示，人工智能將徹底改變我們生活的方方面面。

人工智能描述了計算機將人類智慧融入其決策的能力?，F(xiàn)代人工智能算法是在大型數(shù)據(jù)集上進行訓(xùn)練，在模式識別的基礎(chǔ)上學(xué)習(xí)技能，然后預(yù)測下一步應(yīng)該怎么做。機器學(xué)習(xí)作為人工智能的一個子集，正越來越多地被用于解決各行各業(yè)的問題。

在許多不斷交互的設(shè)備和服務(wù)中，人工智能已經(jīng)無處不在：iPhone上的Face ID、亞馬遜上推薦購買產(chǎn)品、Spotify上推薦你可能喜歡的歌曲、信用卡的自動欺詐檢測，控制建筑物的供暖和制冷，安排飛機起飛和到達時間等等。

一些專家預(yù)測，技術(shù)奇點，即人工智能將與人類平起平坐，甚至比人類更聰明的那一刻，可能會出現(xiàn)在我們有生之年。有人認為可能最快#30年，也有人說可能需要幾個世紀。

如果這種 "通用人工智能 "成為現(xiàn)實，那么像法律助理、放射科醫(yī)生、招聘經(jīng)理等工作都被預(yù)測會更加自動化。世界經(jīng)濟論壇預(yù)測，到2022年，自動化將取代7500萬個工作崗位，并產(chǎn)生1.33億個新崗位。

盡管人工智能在經(jīng)濟上大有可為，但如今，女性在全球人工智能專業(yè)人員中僅占22%。

根據(jù)LinkedIn和世界經(jīng)濟論壇的分析，機器學(xué)習(xí)研究人員中只有12%是女性。 可能有一天會雇用我們，支配我們的醫(yī)療，并在審判中決定判決的技術(shù)，幾乎完全是從白人、受過良好教育的男性角度設(shè)計的。

這種人工智能領(lǐng)域的同一性已經(jīng)對社會看待女性和少數(shù)族裔的方式、這些群體的待遇以及他們能夠參與行業(yè)的方式產(chǎn)生了微妙的影響。如果不做任何改變，我們就有可能繼續(xù)加固社會對女性和少數(shù)群體的固有偏見。

02、 大多數(shù)批判人工智能的人是女性和少數(shù)群體

已經(jīng)有證據(jù)表明，邊緣化群體在就業(yè)、獲得信貸和貸款，及獲得適當?shù)尼t(yī)療服務(wù)方面處于嚴重的不利地位，如果不加以制止，隨著行業(yè)的發(fā)展，這種情況只會越來越嚴重。

大多數(shù)批判人工智能的人是女性和少數(shù)群體，因為他們更有可能遭遇到算法上的不公正。

但越來越多從事人工智能和機器學(xué)習(xí)的人致力于確保上面描述的未來不會成為現(xiàn)實。研究人員開始呼吁關(guān)注人工智能倫理學(xué)，該領(lǐng)域涉及設(shè)計“負責(zé)任”的人工智能。而許多研究都是由女性，包括少數(shù)族裔女性完成的。

越來越多的人關(guān)注人工智能對社會的影響，迫使人工智能領(lǐng)域囊括除了計算機科學(xué)家以外，其他學(xué)科的研究人員，尤其是社會科學(xué)和人文學(xué)科的人員。

AI倫理學(xué)需要思考并優(yōu)先考慮技術(shù)的社會學(xué)和心理學(xué)影響。隨著道德和公平對人工智能的未來越來越重要，這個未來可能會讓更多不同背景的人加入到這個領(lǐng)域，讓消費者享受到更大的包容性。

03、 AI正在放大現(xiàn)有的偏見

"Siri，今天的天氣怎么樣？""舊金山今天最高氣溫將達到55度，大部分時間是晴天。"

當你在腦海中讀出Siri剛才的回答時，很有可能是個女人的聲音。

"人們可以選擇將Siri的聲音改為男性，但基本不會有人改。"舊金山大學(xué)應(yīng)用數(shù)據(jù)倫理中心主任Rachel Thomas說。Rachel Thomas是fast.ai的創(chuàng)始人，fast.ai是一個免費的在線程序，供編碼人員使用人工智能工具。

亞馬遜的Alexa和微軟的Cortana也是默認女性聲音和女性名字。"男性和女性都表現(xiàn)出對女性助手的偏好，我們對女性做助手感到安心。"Thomas說。

在人工智能語音助手之前，2008年印第安納大學(xué)的研究發(fā)現(xiàn)，與男性或電腦語音相比，男性和女性都表現(xiàn)出對女性聲音的偏好。亞馬遜和微軟公開表示，在對其語音助手產(chǎn)品的研究和測試中，女性聲音的測試效果更好。

影響已經(jīng)很明顯了。2019年5月， 聯(lián)合國教科文組織發(fā)布的一項研究發(fā)現(xiàn)，語音助手性別為女性，強化了女性愿意為他人服務(wù)的刻板印象。

"這是人工智能帶來的風(fēng)險的一個例子，"Thomas說。"我們在審視當下的社會，鎖定它，并且強化它。"

旨在提高人工智能多樣性的教育性非營利組織AI4ALL的CEO Tess Posner對此表示贊同。"人工智能展現(xiàn)了我們與生俱來的偏見，"她說。"助理工作被認為是一個女性角色，所以通過讓語音助手聽起來是女性，AI正在放大現(xiàn)有的偏見。"

這些產(chǎn)品的締造者并非完全沒有女性的身影，創(chuàng)建亞馬遜Alexa的二人組中，Toni Reid是女性。但人工智能語音助手設(shè)計者中，做決策的人，絕大部分是白人和男性。

截至2018年，亞馬遜全球僅有26.8%的管理者為女性，73.2%的管理者認定為男性。當年，彭博社還報道稱，在每周一次的亞馬遜AWS會議上，在200名亞馬遜員工介紹最新成果時，會議房間中幾乎不會有超過5名的女性。

Siri最初是由三個男性打造的。在全球范圍內(nèi)，蘋果的技術(shù)員工中男性占77%。49%是白人，35%是亞裔，8%是西班牙裔，6%是黑人。

04、 在谷歌圖片上搜CEO，幾乎全是男性

當蘋果第一次推出Siri時，如果告訴她你心臟病犯了，她會打電話給911，但對強#奸或家庭暴力，她沒有任何反應(yīng)。如果告訴Siri你被強#奸了，她會回答："我不知道你說的'我被強#奸了'是什么意思。"

而在2019年初，如果你說："嘿，Siri，你是個bitch"，她會回答："如果可以，我會臉紅"。這些后來都在更新中被修改了，但這表明她最初設(shè)計的世界觀是有限的。

"我們還有很多事情要做，識別偏見，并確保我們正在解決這些事情，"Posner說。"這很好，但歸根結(jié)底，這關(guān)系到權(quán)力，以及誰在建立這些系統(tǒng)。"

不僅僅是Siri和Alexa，人工智能可以以無數(shù)種方式放大和強化我們現(xiàn)有的偏見。

2015年，華盛頓大學(xué)發(fā)布的一項研究發(fā)現(xiàn)， 在谷歌圖片上搜索 "CEO "時，結(jié)果幾乎全是男性。僅有11%的圖片是以女性為主角的，盡管在當時，女性在美國的CEO中占27%。

根據(jù)Pew Research Center的數(shù)據(jù)，截至2019年，美國女性CEO的數(shù)量增加到28%，而在谷歌 "CEO"的圖片結(jié)果中，以女性為主角的比例下降到10%。

當你在谷歌中輸入圖片的搜索查詢時，搜索算法會讀取網(wǎng)上數(shù)十億張圖片的相關(guān)元數(shù)據(jù)，找到最常見的圖片，并將其挑出來。各種工作的形象搜索結(jié)果反映了公司、組織和媒體選擇代表這些職業(yè)的形象。

"有人認為，這是因為現(xiàn)在很多CEO都是男性，"Thomas說，"但這也強化和放大了我們的固有觀念，即男性是CEO。"

研究證明了這一點。華盛頓大學(xué)2015年的同一項研究發(fā)現(xiàn)，搜索圖像結(jié)果中的性別刻板印象影響了人們對某一領(lǐng)域男性和女性工作人員比例的看法。

"它實際上改變了人們對自己想法的思考方式。"Socos實驗室的創(chuàng)始人Vivienne Ming博士說，該實驗室是一個專注于人工智能、神經(jīng)科學(xué)和教育改革的智庫。"隨著這些系統(tǒng)的不斷循環(huán)，它們變成了這個閉環(huán)，強化了我們自己的偏見。"

然而，如何解決這個問題并沒有形成明確的共識。"如果所有的語音助手都是女性，那就有問題了，但什么是公平的地帶呢？"Xiang說。"同樣，對于CEO的圖像搜索結(jié)果，五五開就是最有意義的做法嗎? 應(yīng)該展示我們實際看到的？還是應(yīng)該介于兩者之間？"

如果算法是在有偏見的數(shù)據(jù)上訓(xùn)練出來的，我們?nèi)绾蝿?chuàng)造公平的算法呢？一個選擇是使用額外的數(shù)據(jù)集，提供模型的偏倚程度，然后相應(yīng)地重新平衡數(shù)據(jù)集，Xiang說。

例如，《美國藥物和酒精濫用期刊》（American Journal of Drug and Alcohol Abuse）發(fā)表的數(shù)據(jù)顯示， 黑人和白人使用和銷售毒#品的比例相似，但黑人因與毒#品有關(guān)的犯罪而被捕的可能性大約是白人的2.6倍。前者的數(shù)據(jù)可以用來調(diào)整后者的數(shù)據(jù)集。

2017年，倫敦的AI研究員Josie Young開發(fā)了女性主義聊天機器人設(shè)計流程，以幫助組織建立符合道德或社會意識的聊天機器人和AI界面。她的指導(dǎo)方針成為一個名為F'xa的女權(quán)主義聊天機器人的中心思想，該聊天機器人由一個名為Feminist Internet的組織創(chuàng)建，旨在教育用戶將偏見嵌入人工智能系統(tǒng)的風(fēng)險。

問題是，要想把 "公平 "建立在人工智能系統(tǒng)中，就必須對這個概念進行量化思考。而對于公平的含義，研究者也有不同的定義。

Vivienne Ming博士對此表示贊同。"當人們談?wù)撊斯ぶ悄艿墓叫詴r，他們的意思有所不同，"她說，"有時候他們在談?wù)撏该鞫?，即算法是如何運作的。有時候，他們在談?wù)撍惴ǖ慕Y(jié)果，或者，是如何訓(xùn)練的。公平是很難定義的。"

05、 算法的不公正

除了社會對女性及少數(shù)族裔的看法之外，人工智能還能對女性和其他邊緣化群體的待遇產(chǎn)生潛移默化的影響。

AT&T、希爾頓和Humana等公司已經(jīng)在招聘過程中使用了人工智能，以確保申請人符合職位的基本標準。

2018年， 亞馬遜的機器學(xué)習(xí)專家發(fā)現(xiàn)，他們的招聘算法對包含 "女性 "一詞的技術(shù)職位的簡歷進行了降級，并“懲罰”了兩所全女性大學(xué)的畢業(yè)生。該算法是根據(jù)亞馬遜10年來的招聘數(shù)據(jù)進行的訓(xùn)練，其中技術(shù)崗位的人員大多為男性。

"在招聘中，我們往往希望，如果把簡歷中的性別完全擦掉，人工智能就不會學(xué)習(xí)這些偏見。"Xiang說。但如果訓(xùn)練數(shù)據(jù)中的候選人池中有更多的男性，那么 "人工智能就會面臨明顯的挑戰(zhàn)，即偏向男性而非女性"。

這樣的結(jié)果不僅僅發(fā)生在招聘中。

在刑事風(fēng)險評估中，人工智能被用來確定某人再次犯罪的可能性，然后法官在判刑時將其考慮在內(nèi)。和招聘算法一樣，犯罪風(fēng)險評估工具通常是根據(jù)歷史數(shù)據(jù)進行訓(xùn)練的， 根據(jù)司法統(tǒng)計局的一份報告，美國黑人比白人或西班牙裔更容易被警察攔截。

谷歌倫理人工智能團隊的研究科學(xué)家Timnit Gebru指出，大多數(shù)批評人工智能的人都是女性和少數(shù)族裔，因為他們更有可能遭遇算法上的不公正。"來自邊緣化群體的人們一直在真正努力地將這一問題推到大眾面前。"

2018年，麻省理工學(xué)院研究人員Joy Buolamwini發(fā)現(xiàn)，世界上使用最廣泛的面部識別工具IBM、微軟和Face++，錯誤識別女性面孔的次數(shù)比男性面孔多，很多時候，它們根本無法檢測到深色皮膚的面孔。

這意味著，當面部識別用于安全監(jiān)控時，婦女和少數(shù)族裔可能比白人男子更經(jīng)常地被識別為威脅。

06、 不同領(lǐng)域的人開始進入AI行業(yè)

"這些系統(tǒng)正在被無形地嵌入我們的社會，"Posner說，"這不僅僅放大了我們心中的一些偏見，這些系統(tǒng)可能會改變生活。"

人工智能很難處理沒有整齊劃一地歸入規(guī)定類別的情況。

身為跨性別女性的Vivienne Ming博士，親身經(jīng)歷了AI難以讀懂自己的性別。"當我在美國機場通過全身掃描儀時，我總是會被標記，因為我的臀部和肩部的比例對于一個女性來說是不正常的。"當我被標記時，安檢工作人員會把手伸進我的兩腿之間，這太不公平了。"

更多樣化的勞動力是否會改善這些問題？"當然，在某種程度上，"Ming博士說，"AI只是一個工具，只能做它的指揮者知道的事情。"

而解決方案并不是簡單地在AI領(lǐng)域雇傭更多的女性。"這可能會引起爭議，"她說，"但 如果你認為雇傭更多的女性（在人工智能領(lǐng)域）會神奇地解決這個問題，你就錯了。"

Ming博士認為，我們需要的是更多了解算法如何影響人類的人。其他專家表深表贊同，并正在努力做到這一點。

AI研究者Abeba Birhane認為，人工智能應(yīng)該優(yōu)先考慮的是理解而不是預(yù)測。

我們不應(yīng)該只依賴算法預(yù)測模式，而應(yīng)該經(jīng)常質(zhì)疑為什么會出現(xiàn)一些固定的模式。例如，為什么刑事風(fēng)險評估工具顯示黑人和棕色人種更容易被逮捕？會不會是他們的社區(qū)過度治安的結(jié)果？

谷歌Brain的研究科學(xué)家Been Kim正在開發(fā)能夠自我解釋的人工智能軟件，增加人類對技術(shù)運作的理解。

她最近建立了一個系統(tǒng)，作為 "人類的翻譯"，能理解人工智能什么時候沒有按照它應(yīng)該做的方式工作。例如，如果一個人工智能系統(tǒng)被訓(xùn)練成在圖像中識別斑馬，你可以使用這個工具來了解人工智能在做出決定時對 "條紋 "的權(quán)重。

"不必了解人工智能模型的每一件事，"Kim說，"但只要你能了解到安全使用這個工具的信息，那就是我們的目標。"

07、 嘿，Siri，給女權(quán)主義下個定義吧

隨著自動化越來越普及，那些需要與機器互動的工作，比如建筑和工廠的工作，正在迅速減少。另一方面，像醫(yī)療保健和社會工作等大量使用人際關(guān)系技能的工作正在快速增長。

約克大學(xué)2018年的一項研究發(fā)現(xiàn)，在過去的25年里，受過大學(xué)教育的男性從事白領(lǐng)工作的概率下降，而受過大學(xué)教育的女性從事白領(lǐng)工作的概率上升。轉(zhuǎn)變的最大原因是什么？醫(yī)生、軟件工程師和經(jīng)濟學(xué)家等工作對社交技能的需求增加。

這些工作需要相對高的情商(emotional intelligence)，而情商是相當難自動化的。多項研究表明，女性在EI測試中的得分高于男性，包括EI的每一個子量表，比如理解、表達和感知情緒。

這并不是說每個女人都比每個男人有更高的EI，也不是說這些特征是生理性的。一些研究表明，女性更有可能因為受到社會條件的制約，而去培養(yǎng)自己的這些特質(zhì)。

如果倫理學(xué)這個同樣需要高水平EI的領(lǐng)域，繼續(xù)對人工智能領(lǐng)域變得越來越重要，這種需求可能會吸引更多的女性進入這個行業(yè)。根據(jù)美國國家科學(xué)基金會的研究，自上世紀90年代初以來，女性在美國所有社會科學(xué)家中至少占了一半或更多。

"在PAI，我們和女性研究人員合作很多，專注于人工智能的倫理和透明度。"Xiang說，"在這些研究領(lǐng)域，女性的比例是相當高的"。

Xiang自身的背景磨礪了她的EI技能，她在進入世界級精英大學(xué)之前，是在邊遠地區(qū)長大的。這些成長經(jīng)歷影響著她后來對于算法公平性的研究。 一個人工作做得好或拖欠貸款的可能性有多大？不能僅靠歷史數(shù)據(jù)來確定。

Xiang認為，領(lǐng)域?qū)I(yè)性，即某一領(lǐng)域的專業(yè)知識，對人工智能行業(yè)也變得越來越重要。她遇到的很多同事都是STEM專業(yè)的，大學(xué)畢業(yè)后從事與STEM不直接相關(guān)的工作，后來又轉(zhuǎn)型做人工智能。

Xiang在從事人工智能工作之前曾從事統(tǒng)計、經(jīng)濟、法律等工作，她在這些領(lǐng)域有了自己的專長，現(xiàn)在將這些專長運用到了研究中。

Thomas和丈夫一起運營fast.ai，她希望讓人工智能掌握在不同領(lǐng)域非常廣泛和多樣化的人群手中。"我們相信相關(guān)領(lǐng)域的專家是最熟悉自己問題的人，"Thomas說，"我們教這些不同領(lǐng)域的專家使用深度學(xué)習(xí)，而不是找一個對其他領(lǐng)域感興趣的深度學(xué)習(xí)領(lǐng)域的博士。"

Thomas的幾位fast.ai學(xué)生正在其專業(yè)領(lǐng)域使用人工智能來改善他們領(lǐng)域內(nèi)的研究。人類長壽研究所機器學(xué)習(xí)主任、fast.ai校友Alena Harley正在利用AI算法為轉(zhuǎn)移的癌癥識別源頭。在最近的試驗中，Harley將錯誤率降低了超過30%。

當你問Siri什么是女權(quán)主義價值觀時，她會回答："我在網(wǎng)上找到了這個。"并根據(jù)受歡迎程度調(diào)出搜索結(jié)果。很多時候，出現(xiàn)率最高的一篇文章是職業(yè)指導(dǎo)顧問寫的，標題是 "什么是女權(quán)主義，為什么那么多女人和男人討厭它？"

女權(quán)主義聊天機器人F'xa的答案略有不同。她會說， 女權(quán)主義價值觀對不同的人來說，可能意味著不同的東西，這取決于他們的背景和他們所面臨的挑戰(zhàn)。

原標題：Code Switch

作者：Molly Fosco

原文鏈接：
https://trix-magazine.com/global-affairs/code-switch/

https://www.toutiao.com/i6840586371678077447