AI現(xiàn)狀 人才短缺成為障礙

去年，我們感覺到大家對(duì)AI的興趣已經(jīng)接近狂熱，所以我們就AI應(yīng)用發(fā)起調(diào)查。調(diào)查完成之后我們分析結(jié)果，認(rèn)為AI行業(yè)處在快速變化的階段，所以我們又發(fā)起一次調(diào)查，想搞清眼下AI主要應(yīng)用于哪些行業(yè)。

調(diào)查花了幾周時(shí)間，收到 1388 份回應(yīng)報(bào)告。最新的調(diào)查告訴我們?cè)谄髽I(yè)領(lǐng)域 AI 應(yīng)用到了怎樣的程度（已經(jīng)從原型向生產(chǎn)階段過(guò)渡），調(diào)查還涉及具體技術(shù)和工具的流行程度，應(yīng)用者面臨怎樣的挑戰(zhàn)，以及其它一些問題。

下面讓我們總結(jié)一下：

關(guān)鍵調(diào)查結(jié)果：

——約有 85% 的受訪機(jī)構(gòu)聲稱它們正在評(píng)估 AI，或者將 AI 應(yīng)用于生產(chǎn)。只有 15% 的機(jī)構(gòu)在 AI 方面沒有采取任何行動(dòng)。

——超過(guò)一半的受訪機(jī)構(gòu)是“AI 技術(shù)成熟的應(yīng)用者”，換言之，它們正在用 AI 完成分析、生產(chǎn)任務(wù)。

——在成熟 AI 應(yīng)用者中，監(jiān)督式學(xué)習(xí)是最流行的機(jī)器學(xué)習(xí)技術(shù)，在那些仍在評(píng)估AI的機(jī)構(gòu)中，機(jī)器學(xué)習(xí)是最流行的技術(shù)。

——在 AI 應(yīng)用時(shí)，缺少機(jī)器學(xué)習(xí)和 AI 技能并不是最大障礙。22% 的受訪者認(rèn)為，缺少制度支持是最大問題。

——只有很少的企業(yè)用正式治理控制手段為自己的 AI 活動(dòng)提供支持。

AI 仍然在發(fā)展。有許多企業(yè)正在評(píng)估 AI，用 AI 做實(shí)驗(yàn)，不過(guò)在應(yīng)用時(shí)，主要用于“生產(chǎn)部署”（production deployments）。這種發(fā)展仍然處在初期階段，企業(yè)還要做很多工作才能讓 AI 變得更堅(jiān)固。不論怎樣，應(yīng)用者為了打造穩(wěn)定的 AI 生產(chǎn)線，還有一大堆工作要做。

受訪者分布

受訪者代表所在機(jī)構(gòu)和企業(yè)接受調(diào)查，他們來(lái)自 25 個(gè)行業(yè)，來(lái)自軟件行業(yè)的受訪者占 17%。從受訪樣本看，“科技行業(yè)”所占的比重并不是很高，“計(jì)算機(jī)、電子、硬件”也屬于科技行業(yè)的重要板塊，它只占了樣本的7%還不到。至于“其它”類別，它包括 12 個(gè)行業(yè)，占受訪者的22%。

數(shù)據(jù)科學(xué)家占主導(dǎo)，企業(yè)高管具有代表性

大約六分之一的受訪者是數(shù)據(jù)科學(xué)家，高管（比如主管、副總裁、CxO）占了樣本的 26%。從調(diào)查看，受訪者的確嚴(yán)重偏向數(shù)據(jù)，有 30% 的受訪者是數(shù)據(jù)科學(xué)家、數(shù)據(jù)工程師、AIOps 工程師，或者是管理他們的人。大約四分之三的受訪者宣稱自己從事的工作與數(shù)據(jù)有關(guān)。在所有受訪者中，超過(guò) 70% 從事科技類工作。

地區(qū)分布

約有 50% 的受訪者來(lái)自北美，其中大多來(lái)自美國(guó)，美國(guó)受訪者占了 40%。然后是西歐受訪者，占了 23%，亞洲占 15%。南美、東歐、大洋洲、非洲占 15%。

分析：今天的 AI 應(yīng)用現(xiàn)狀

在受訪者代表的機(jī)構(gòu)中，超過(guò)一半在 AI 應(yīng)用方面已經(jīng)進(jìn)入“成熟”階段，也就是用 AI 分析、生產(chǎn)，還有大約三分之一正在評(píng)估。再看去年的 AI 調(diào)查結(jié)果，54% 的受訪機(jī)構(gòu)聲稱在評(píng)估 AI，只有 27% 進(jìn)入“成熟”階段。在 2020 年的調(diào)查中，只有 15% 的受訪機(jī)構(gòu)沒有設(shè)立任何 AI 項(xiàng)目。

約有 85% 的機(jī)構(gòu)正在使用 AI，當(dāng)中大多用于生產(chǎn)，這是一個(gè)值得關(guān)注的亮點(diǎn)。似乎 2019 年制定的實(shí)驗(yàn)性 AI 項(xiàng)目今年開始開花結(jié)果。

AI 主要用在哪里呢？約有一半受訪者說(shuō)他們用在研發(fā)領(lǐng)域，排名第二的是IT，有三分之一的受訪者選擇（請(qǐng)注意，這里可以多選）。

在選項(xiàng)中有兩個(gè)屬于企業(yè)的“功能部門”，也就是“營(yíng)銷/廣告/PR”和“運(yùn)營(yíng)/設(shè)施/車隊(duì)管理”，每個(gè)都有大約 20% 的受訪者選擇。由此可以看出，受訪機(jī)構(gòu)看到了 AI 在功能部門的價(jià)值。

采用 AI 面臨的挑戰(zhàn)

在大多機(jī)構(gòu)內(nèi)，獲得并保留 AI 特殊技能仍然是 AI 應(yīng)用的一大障礙。今年，約有超過(guò)六分之一的受訪者聲稱招募并留下 AI 人才是 AI 應(yīng)用的一大障礙。2019 年，大約只有 18% 的受訪者這樣認(rèn)為。

但是缺少高技能人才并不是最大障礙。2020 年，大約 22% 的受訪者認(rèn)為缺少機(jī)構(gòu)支持才是最大問題，2019 年也有很多人這樣認(rèn)為。2019 年和 2020 年，在 AI 應(yīng)用的各大障礙中，“缺少高技能人才、很難招到必要人才”排在第三位；“難以確認(rèn)合適的商務(wù)用例”排在第二位，約有 20% 的受訪者選擇。

AI/ML 技能短缺

我們還問調(diào)查者：在他們的機(jī)構(gòu)中，哪些機(jī)器學(xué)習(xí)（ML）和 AI 技能最欠缺。58% 的受訪者認(rèn)為最欠缺 ML 模型師、數(shù)據(jù)科學(xué)家，選擇的人最多。理解及維護(hù)一系列商務(wù)用例排在第二位，約有一半人選擇。還有 40% 的受訪者選擇“在數(shù)據(jù)工程領(lǐng)域缺少必要技能”。最后，還有約四分之一的人選擇“機(jī)構(gòu)缺少計(jì)算基礎(chǔ)設(shè)施技能”。

這項(xiàng)調(diào)查有一個(gè)地方很有趣：2020 年的結(jié)果和 2019 年驚人相似。2019 年的問題到了 2020 年仍然是問題，比例也基本一樣。2019 年，57% 的受訪者選擇“缺少機(jī)器學(xué)習(xí)建模和數(shù)據(jù)科學(xué)專家”，今年的比例是 58%。這些技能都是機(jī)構(gòu)必需的，而且不太容易解決。例如，數(shù)據(jù)科學(xué)家是“混合物種”，不但要掌握精深的理論、技術(shù)知識(shí)，還要具備面向特定領(lǐng)域的實(shí)際商業(yè)知識(shí)。

可惜，很多數(shù)據(jù)科學(xué)家缺少實(shí)踐，所以機(jī)構(gòu)只能在工作中對(duì)新晉數(shù)據(jù)科學(xué)家培訓(xùn)。正因如此，才會(huì)有那么多受訪者認(rèn)為：嚴(yán)重缺少理解和維護(hù)特定商務(wù)用例的人才是一大問題，2019 年有 47% 的受訪者選擇，今年上升到 49%。數(shù)據(jù)科學(xué)家利用自己掌握的特定專業(yè)知識(shí)為AI 找到適合的商務(wù)用例。機(jī)器學(xué)習(xí)建模師在實(shí)踐中積累知識(shí)，然后用這些特定商業(yè)知識(shí)補(bǔ)充技術(shù)知識(shí)。這兩種類型的從業(yè)者都需要提升軟技能，在團(tuán)隊(duì)工作、傾聽、移情過(guò)程中提升。提升需要時(shí)間，也是經(jīng)驗(yàn)的結(jié)果。

管理 AI/ML 風(fēng)險(xiǎn)

我們還問了受訪者這樣一個(gè)問題：當(dāng)你們搭建部署 ML模型時(shí)有哪些風(fēng)險(xiǎn)需要控制（多選）？調(diào)查結(jié)果顯示，所有機(jī)構(gòu)（尤其是 AI 項(xiàng)目處于“成熟”階段的機(jī)構(gòu)）全都認(rèn)為應(yīng)該警惕設(shè)計(jì)使用 ML/AI 技術(shù)的內(nèi)在風(fēng)險(xiǎn)。

在“成熟”機(jī)構(gòu)中，大約有三分之二的人選擇“意料之外的結(jié)果/預(yù)測(cè)”，這是最大的單一風(fēng)險(xiǎn)因素。在“成熟”機(jī)構(gòu)中，排名第二的單一風(fēng)險(xiǎn)因素是“對(duì) ML 模型的可解釋性和透明度進(jìn)行控制”，約有 55% 的人選擇；至于“正在評(píng)估”的機(jī)構(gòu)，公平、偏見和道德風(fēng)險(xiǎn)排在第二位，有 40% 的人選擇。在“成熟”機(jī)構(gòu)眼中，公平、偏見和道德風(fēng)險(xiǎn)排在第三位，有 48% 的受訪者選擇。與正在評(píng)估的企業(yè)相比，“成熟”機(jī)構(gòu)更愿意對(duì)模型退化進(jìn)行檢查，所以在“成熟”機(jī)構(gòu)中，AI 模型退化是是第四大風(fēng)險(xiǎn)因素（約 46% 的人選擇）。

在調(diào)查時(shí)給出的選項(xiàng)有 9 個(gè)，因?yàn)槭嵌噙x，受訪者可以全部選擇。我們發(fā)現(xiàn)，41% 的受訪者至少選擇了 4個(gè)，61% 的受訪者至少選擇 3 個(gè)。

監(jiān)督式學(xué)習(xí)成主導(dǎo)、深度學(xué)習(xí)持續(xù)升溫

在所有 AI 應(yīng)用者中，監(jiān)督式學(xué)習(xí)技術(shù)仍然是最流行的 ML 技術(shù)。2019 年，超過(guò) 80% 的成熟應(yīng)用者已經(jīng)使用這種技術(shù)，當(dāng)時(shí)約有三分之二的受訪機(jī)構(gòu)還處在評(píng)估階段。到了 2020 年，約有 73% 的成熟 AI 活動(dòng)已經(jīng)使用監(jiān)督式學(xué)習(xí)技術(shù)。

有一點(diǎn)需要注意，2020 年，對(duì)于那些處于評(píng)估階段的機(jī)構(gòu)來(lái)說(shuō)，深度學(xué)習(xí)技術(shù)已經(jīng)取代監(jiān)督式學(xué)習(xí)技術(shù)成為最流行的技術(shù)。數(shù)據(jù)可以說(shuō)明一切：對(duì)于正在評(píng)估 AI 的機(jī)構(gòu)，有 55% 聲稱他們正在使用深度學(xué)習(xí)技術(shù)，有 54% 聲稱正在使用監(jiān)督式學(xué)習(xí)技術(shù)（多選）。對(duì)于成熟的 AI 應(yīng)用者，約有 66% 的受訪者聲稱他們正在使用深度學(xué)習(xí)技術(shù)，排在第二位，排在第一的是監(jiān)督式學(xué)習(xí)技術(shù)。

與正在評(píng)估的組織相比，在成熟接受者中，ML 或者 AI 技術(shù)的使用率更高。換言之，二者有著很大的區(qū)別。例如，在成熟接受者中，大約 23% 的 AI 活動(dòng)用到了遷移學(xué)習(xí)（Transfer learning）技術(shù)，而評(píng)估者只有 12%。另外，在成熟者中機(jī)回圈（Human-in-the-Loop）AI 模型更加流行。

在工作中選擇什么工具呢？78% 的受訪者選擇至少 2 種 ML 技術(shù)，59% 選擇至少 3 種，39% 至少選擇 4種。

主導(dǎo)性工具越來(lái)越重要

在 AI 工作中，TensorFlow 仍然是最流行的工具。2019 年和 2020 年，大約 55% 的受訪者選擇了它，比重保持不變。TensorFlow 地位穩(wěn)固還告訴我們一個(gè)事實(shí)：深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)越來(lái)越流行。

2019 年最流行的 AI 開發(fā)工具到了 2020 年仍在流行。在最流行的 5 種 AI 工具中，有 4 種要么以Python 作為基礎(chǔ)，要么以 Python 作為主導(dǎo)。TensorFlow、Scikit-learn 和 Keras 保持穩(wěn)定，PyTorch 份額增長(zhǎng)，達(dá)到 36%。

數(shù)據(jù)治理還不是當(dāng)務(wù)之急

有超過(guò)五分之一的受訪機(jī)構(gòu)宣稱，它們引入了正式數(shù)據(jù)治理流程和（或）工具，用來(lái)支持或者補(bǔ)充AI項(xiàng)目。

26% 的受訪者回應(yīng)稱會(huì)在2021 年之前引入正式數(shù)據(jù)治理流程和（或）工具，35% 預(yù)計(jì)會(huì)在未來(lái)3年引進(jìn)，這是好消息。也有壞消息，AI 接受者認(rèn)為數(shù)據(jù)治理只是補(bǔ)充，并非基本要素。

數(shù)據(jù)溯源（Data provenance）、數(shù)據(jù)沿襲 ( data lineage ) 、一致性數(shù)據(jù)定義、豐富的元數(shù)據(jù)管理及其它良好的數(shù)據(jù)治理技術(shù)將會(huì)融入 AI 項(xiàng)目，并非疊加在 AI 項(xiàng)目之上。

我們可以將數(shù)據(jù)治理看成是軟件開發(fā)過(guò)程中的“可觀察性”（observability）部分：翻新已有系統(tǒng)讓它具備可觀察性是很難的，將可觀察能力植入系統(tǒng)倒是容易一些。同樣的，為系統(tǒng)或者服務(wù)建立數(shù)據(jù)治理能力容易一些，事后添加難一些。

要點(diǎn)匯總

回看調(diào)查報(bào)告我們總結(jié)一些要點(diǎn)，機(jī)構(gòu)在推進(jìn)AI項(xiàng)目時(shí)可以參考：

——如果沒有制定計(jì)劃對(duì)AI進(jìn)行評(píng)估，那你是時(shí)候迎頭趕上了。現(xiàn)在市場(chǎng)上有很多開源工具、庫(kù)、教程及其它，還有平易近人的通用語(yǔ)言（比如Python），進(jìn)入 AI 的門檻大大降低。大多企業(yè)都在用 AI 做實(shí)驗(yàn)，落后是有風(fēng)險(xiǎn)的。

——AI 項(xiàng)目與軟件架構(gòu)、基礎(chǔ)設(shè)施、運(yùn)營(yíng)的主導(dǎo)趨勢(shì)保持一致。

——你可以從更宏觀的角度考慮：到處都在使用 AI，不限于研發(fā)和 IT。在調(diào)查中，許多受訪者聲稱他們?cè)诳蛻舴?wù)、營(yíng)銷、運(yùn)營(yíng)、財(cái)務(wù)及其它領(lǐng)域使用 AI。

——要對(duì)組織進(jìn)行培育，不能只是訓(xùn)練模型。在 AI 應(yīng)用過(guò)程中，制度支持仍然是最大的障礙。如果你覺得 AI 能帶來(lái)助益，那就應(yīng)該花點(diǎn)時(shí)間解釋關(guān)鍵問題，比如如何保持期待、為什么可以期待、有何期待。

——在 AI 執(zhí)行過(guò)程中會(huì)有風(fēng)險(xiǎn)存在，現(xiàn)在我們對(duì)風(fēng)險(xiǎn)有了更好的理解。當(dāng)我們向高管、利益相關(guān)方解釋，告訴他們執(zhí)行 AI 項(xiàng)目時(shí)有何期待，解釋起來(lái)會(huì)更容易一些。

總結(jié)

很明顯，AI 正在變得成熟起來(lái)，雖然許多用例看起來(lái)很原始，但它仍然一天一天變得成熟。應(yīng)用者正在采取積極措施控制常見風(fēng)險(xiǎn)。不論是成熟還是不成熟的應(yīng)用者，它們都在用復(fù)雜技術(shù)做實(shí)驗(yàn)，開發(fā)自己的 AI 產(chǎn)品和服務(wù)。應(yīng)用者使用多種 ML 和 AI 工具，但使用的語(yǔ)言基本只有一種，也就是廣泛流行的 Python。如果想擴(kuò)大 AI 實(shí)踐規(guī)模，企業(yè)還有幾件事要做：解決數(shù)據(jù)治理和數(shù)據(jù)調(diào)理問題。

原文鏈接：https://developer.aliyun.com/article/764536?spm=a2c6h.12873581.0.dArticle764536.603a66e35ETgGf&groupCode=aliyunmit