IBM人工智能芯片的新進(jìn)展

來源：內(nèi)容由半導(dǎo)體行業(yè)觀察（ID：icbank）編譯自「Venturebeat」

本文約 1142字，建議閱讀 4分鐘。

本文介紹IBM蘇黎世實驗室基于相變存儲器的技術(shù)，開發(fā)出了一種能同時能高實現(xiàn)能源效率和高精度的機(jī)器學(xué)習(xí)方案。

IBM蘇黎世實驗室的研究人員本周在Nature Communications上發(fā)表了一篇論文。在文中他們聲稱，基于相變存儲器的技術(shù)，他們已經(jīng)開發(fā)出了一種能同時能高實現(xiàn)能源效率和高精度的機(jī)器學(xué)習(xí)方案。這是一種使用基于電阻的存儲設(shè)備來實現(xiàn)內(nèi)存內(nèi)計算的方法，它們的方法彌補(bǔ)了存儲和計算數(shù)據(jù)分開的方案的缺陷，并在此過程中大大降低了功耗。

文章表示，許多現(xiàn)有的AI推理方案在物理上拆分了內(nèi)存和處理單元，導(dǎo)致AI模型存儲在片外內(nèi)存中。這會增加計算開銷，因為必須在各個單元之間對數(shù)據(jù)進(jìn)行轉(zhuǎn)移，這會減慢處理速度并增加用電量。

IBM的技術(shù)表面上解決了相變存儲器的問題，相變存儲器是一種非易失性存儲器，比常用的閃存技術(shù)要快。這項工作如果被證明具有可擴(kuò)展性，則可以為在無人機(jī)，機(jī)器人，移動設(shè)備和其他受計算限制的設(shè)備中運行AI的強(qiáng)大硬件鋪平道路。

正如IBM團(tuán)隊所解釋的那樣，相變存儲設(shè)備面臨的挑戰(zhàn)是它趨向于引入計算誤差（computational inaccuracy）。那是因為它本質(zhì)上是模擬的。由于可變性以及讀寫電導(dǎo)噪聲，其精度受到限制。

研究提出的解決方案需要在軟件中的AI模型訓(xùn)練期間注入額外的噪聲，以提高模型的彈性。結(jié)果表明它是成功的。在將訓(xùn)練后的權(quán)重（即，用于轉(zhuǎn)換輸入數(shù)據(jù)的參數(shù)）映射到相變存儲器組件后，加入額外噪音在流行的CIFAR-19 數(shù)據(jù)集可以把訓(xùn)練ResNet模型精度提升到93.7%，而ImageNet的精度可以做到71.6%.

此外，在將特定模型的權(quán)重映射到原型芯片中的723,444個相變存儲設(shè)備上之后，在單天的過測試程中，精度保持在92.6％以上。研究人員聲稱這是一個記錄。

為了進(jìn)一步提高精度隨時間的保持性，該研究的合著者還開發(fā)了一種補(bǔ)償技術(shù)，該技術(shù)可以在推理過程中定期校正激活函數(shù)（確定模型輸出的方程式）。他們說，這導(dǎo)致硬件精度提高到93.5％。

同時，該團(tuán)隊使用模擬相變存儲組件對訓(xùn)練機(jī)器學(xué)習(xí)模型進(jìn)行了實驗。報告稱，他們使用混合精度架構(gòu)在幾種類型的小規(guī)模模型上實現(xiàn)了“軟件等效”的準(zhǔn)確性，這些模型包括多層感知器，卷積神經(jīng)網(wǎng)絡(luò)，長期短期記憶網(wǎng)絡(luò)和生成對抗網(wǎng)絡(luò)。他們最近在《神經(jīng)科學(xué)前沿》上發(fā)表的一項研究中詳細(xì)介紹了訓(xùn)練實驗。

IBM在該領(lǐng)域的最新工作是在引入用于AI訓(xùn)練的相變存儲芯片之后。但據(jù)報道,公司的這項技術(shù)仍處于研究階段的同時，公司研究人員證明了該系統(tǒng)可以將權(quán)重數(shù)據(jù)存儲為電荷，每平方毫米的計算量是圖形卡的100倍，而功耗卻要低280倍。

IBM表示：“在一個越來越多應(yīng)用（包括物聯(lián)網(wǎng)電池供電的設(shè)備和自動駕駛汽車）向AI邁進(jìn)的時代，快速，低功率且可靠的DNN推理引擎是非常有吸引力.

在一份聲明中他們表示。我們正在研究中的AI硬件加速器架構(gòu)在支持DNN訓(xùn)練和推理方面巨大潛力?！?/span>

—完—

https://www.toutiao.com/i6828549234929697287/