如何確定AI更值得信任？此處需@XAI……

全文共 1925字，預(yù)計(jì)學(xué)習(xí)時(shí)長(zhǎng) 4分鐘

圖片來(lái)源：unsplash.com/@multamedia

你是否對(duì)機(jī)器學(xué)習(xí)模型如何工作感到好奇？這些模型內(nèi)部是如何運(yùn)作的，它們是否值得信任？

本文將全面概述什么是可解釋人工智能（XAI），以及為什么需要XAI。讀完本文后，你應(yīng)該能夠理解XAI的必要性，并且可以考慮是否需要將其應(yīng)用到ML項(xiàng)目或產(chǎn)品中去。

什么是XAI？

可解釋人工智能（XAI）是機(jī)器學(xué)習(xí)中一個(gè)相當(dāng)新的領(lǐng)域。在這個(gè)領(lǐng)域中，研究者試圖開發(fā)一款新模型，來(lái)解釋機(jī)器學(xué)習(xí)（ML）模型背后的決策過(guò)程。

XAI有許多不同的研究分支，但總的來(lái)說(shuō)，要么是試圖解釋復(fù)雜的黑箱模型的結(jié)果，要么試圖將可解釋性納入當(dāng)前的模型體系結(jié)構(gòu)中。第一種方法被研究者廣泛采用，這種方法不考慮試模型的基本體系，只試圖解釋ML模型做了什么。被稱為模型不可知的XAI。

為什么需要XAI？

我們可以舉例來(lái)說(shuō)明。隨著當(dāng)前深度學(xué)習(xí)（DL）的發(fā)展，對(duì)于DL模型來(lái)說(shuō)，擁有幾百萬(wàn)個(gè)參數(shù)是非常典型的！將這些參數(shù)與已經(jīng)使用了幾十年的簡(jiǎn)單線性回歸模型進(jìn)行比較，就會(huì)理解DL模型到底有多復(fù)雜。

事實(shí)上，DL模型已經(jīng)對(duì)很多行業(yè)產(chǎn)生了巨大的影響，但其中許多仍然被用作黑箱系統(tǒng)。這并不是一件好事，尤其是用這些模型來(lái)作出能夠產(chǎn)生巨大社會(huì)影響的決策時(shí)。

XAI解決了什么問題？

XAI試圖回答三種不同類型的問題：為什么？什么時(shí)候？怎么做？如果在開發(fā)ML產(chǎn)品時(shí)遇到以這三個(gè)關(guān)鍵詞提問的問題時(shí)，就可能需要求助于XAI。以下是在ML項(xiàng)目中遇到的一些典型問題：

· 為什么ML模型會(huì)做出這樣的預(yù)測(cè)？

· 什么時(shí)候能相信這個(gè)模型的預(yù)測(cè)？

· 什么時(shí)候這個(gè)模型會(huì)做出錯(cuò)誤的預(yù)測(cè)？

· 怎么做能糾正這個(gè)模型的錯(cuò)誤？

回答這些問題，需要將XAI模型/概念融合到M1項(xiàng)目/產(chǎn)品中去。

什么時(shí)候需要XAI？

在每個(gè)ML項(xiàng)目中，某種程度上，可能需要向客戶或同事提供ML模型的決策過(guò)程。XAI在ML的應(yīng)用中至關(guān)重要，ML系統(tǒng)的決策直接影響人們的生活，對(duì)社會(huì)產(chǎn)生巨大影響。

一些人可能會(huì)認(rèn)為，在大多數(shù)情況下，最終的決定是由人們做出的。但是，許多專家會(huì)使用復(fù)雜的ML系統(tǒng)來(lái)幫助他們做決定。如果ML系統(tǒng)不能解釋它做決定的原理，那么對(duì)于專家來(lái)說(shuō)，就很難信任ML系統(tǒng)，并且會(huì)存在風(fēng)險(xiǎn)！

XAI有哪些的常見用例？

目前，AI/ML正在使用的所有領(lǐng)域都有XAI用例！本文不會(huì)列出所有用例，而是用兩個(gè)例子來(lái)說(shuō)明，當(dāng)ML模型的決策嚴(yán)重影響人們的生活時(shí)，為什么需要XAI，以及如何使用XAI。以下例子來(lái)源于醫(yī)學(xué)和金融領(lǐng)域。

用例一：為什么醫(yī)學(xué)ML應(yīng)用需要XAI？

假設(shè)一個(gè)病人去醫(yī)院檢查她/他是否患有癲癇。醫(yī)生將病人腦部的核磁共振圖像輸入到一個(gè)復(fù)雜的ML模型中，生成的報(bào)告以85%的置信度診斷病人患有癲癇。以下是醫(yī)生可能會(huì)問的一些問題：

· 我要怎么相信這個(gè)模型的報(bào)告呢？

· 模型是基于核磁共振圖像的哪些特征，做出了這個(gè)決定？

· ML模型做出這個(gè)決定的方式對(duì)我有意義嗎？我怎么知道這個(gè)模型的決策過(guò)程是什么？

· 如果這份報(bào)告是錯(cuò)誤的，或者模型的決策過(guò)程不夠準(zhǔn)確，該怎么辦？

此外還有很多問題！可以看出，除非ML模型的決策過(guò)程被呈現(xiàn)出來(lái)，并且可以被驗(yàn)證，否則醫(yī)生并不會(huì)信任模型的決策結(jié)果。

醫(yī)學(xué)應(yīng)用中的癲癇檢測(cè)系統(tǒng)

用例二：為什么金融ML應(yīng)用需要XAI？

假設(shè)一個(gè)人去金融機(jī)構(gòu)申請(qǐng)住房貸款。金融機(jī)構(gòu)會(huì)使用復(fù)雜的ML模型來(lái)獲取客戶的家庭人口和金融歷史等信息，并創(chuàng)建一份報(bào)告，來(lái)說(shuō)明客戶是否有資格獲得貸款。

如果該客戶運(yùn)氣不佳，系統(tǒng)認(rèn)定他/她沒有資格獲得貸款。那么問題是使用這個(gè)系統(tǒng)的商業(yè)人士能否信任該模型的決定。這與前面的例子中面臨的問題相同。以下是使用該模型的商業(yè)人士可能會(huì)問的一些問題：

· 如果客戶問為什么他/她的貸款申請(qǐng)被拒絕，我該怎么回答呢？

· ML模型能解釋和證實(shí)其決策過(guò)程，以便我們向客戶報(bào)告嗎？

· 在什么情況下，這個(gè)模型不能做出正確的預(yù)測(cè)？我們是否會(huì)因?yàn)樾湃蜯L模型決策而失去一個(gè)忠誠(chéng)的客戶？

此外也還有很多問題！如果一家公司使用復(fù)雜的ML模型，并且這些模型的決策對(duì)他們的客戶有很大影響，那么就可能會(huì)出現(xiàn)很多問題。

金融應(yīng)用中使用的貸款模型

XAI的未來(lái)是什么？

XAI的未來(lái)很難預(yù)測(cè)，因?yàn)檫@是AI/ML領(lǐng)域的一個(gè)相當(dāng)新的領(lǐng)域，許多研究人員還正在積極研究新的XAI模型。然而，可以基于當(dāng)前的研究趨勢(shì)和行業(yè)需求對(duì)XAI模型進(jìn)行預(yù)測(cè)。幾年后，當(dāng)XAI模式在各行業(yè)的應(yīng)用變得更加成熟時(shí)，可能會(huì)發(fā)生以下情況：

· ML模型將能夠解釋自身的結(jié)果?。梢詫⑵湎胂蟪伞段鞑渴澜纭防锏臋C(jī)器人能夠進(jìn)行“分析”）

· 更多可解釋的模型會(huì)產(chǎn)生，用戶可與其交互并修改（或改進(jìn)）結(jié)果。

· 因?yàn)槟Ｐ褪强山忉尩?，并且可以知道它是如何做出決定的，所以用戶也許能夠?qū)⒆陨碇R(shí)注入模型！

在哪里可以學(xué)習(xí)更多關(guān)于XAI的知識(shí)？

網(wǎng)上有很多可供學(xué)習(xí)的在線材料。可解釋ML手冊(cè)（

https://christophm.github.io/interpretable-ml-book/）是對(duì)XAI當(dāng)前方法的總體概述，如果你還不熟悉這個(gè)領(lǐng)域，這個(gè)手冊(cè)將是一個(gè)好的入門。美國(guó)國(guó)防部高級(jí)研究計(jì)劃局（DARPA）公布了一份關(guān)于XAI使用的規(guī)劃圖（https://www.darpa.mil/attachments/XAIProgramUpdate.pdf），展示了他們?cè)诓煌琗AI模型和方法上的工作計(jì)劃，以及如何將XAI應(yīng)用于ML模型。

https://www.toutiao.com/a6728565544158495246/