溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

如何利用BCI來(lái)進(jìn)行大腦想象手寫進(jìn)行文本輸出

發(fā)布時(shí)間:2022-01-04 10:58:35 來(lái)源:億速云 閱讀:125 作者:柒染 欄目:大數(shù)據(jù)

如何利用BCI來(lái)進(jìn)行大腦想象手寫進(jìn)行文本輸出,很多新手對(duì)此不是很清楚,為了幫助大家解決這個(gè)難題,下面小編將為大家詳細(xì)講解,有這方面需求的人可以來(lái)學(xué)習(xí)下,希望你能有所收獲。

腦機(jī)接口(BCI)可以幫助失去行動(dòng)或說話能力的患者恢復(fù)交流能力。迄今為止,腦機(jī)接口研究的一個(gè)主要熱點(diǎn)是恢復(fù)身體肌肉動(dòng)作技能,例如用觸摸和握緊或2D電腦光標(biāo)點(diǎn)擊輸入。然而,高度靈巧的行為(如手寫或觸摸打字)可能需要更快的通信速度。

靠意念輸入漢字

此前有報(bào)道表示香港中文大學(xué)成功研發(fā)出一個(gè)“腦機(jī)界面”系統(tǒng),它能將腦電波轉(zhuǎn)換成繁體中文字,讓全身癱瘓無(wú)法說話的病人,有機(jī)會(huì)“打開心窗”。這套系統(tǒng)在香港中央圖書館首次展出,吸引了大批好奇的市民。

病人戴上有16個(gè)接觸面的無(wú)線腦電波接收器,盯住電腦屏幕,橫豎撇捺勾五個(gè)筆畫輪流閃亮,病人心里想著要寫的筆畫,接收器便能收到選擇筆畫的指令,將中文字逐筆寫出來(lái)。

看似神奇的“意念輸入法”,原理其實(shí)很簡(jiǎn)單。詹姆斯介紹,人看到自己想要輸入的筆畫閃亮?xí)r,會(huì)產(chǎn)生心理刺激,此時(shí)大腦會(huì)釋放出腦電波。譬如想輸入一個(gè)“橫”,當(dāng)屏幕上的“—”亮起時(shí),大腦就釋放腦電波,系統(tǒng)捕捉腦電波并反饋給電腦軟件,完成輸入一筆“橫”。然后再依次輸入其他筆畫,依靠軟件的聯(lián)想功能,屏幕上也會(huì)不斷出現(xiàn)文字或詞組,供使用者選擇。

2013年發(fā)的一篇文章,發(fā)現(xiàn)了人們?cè)谔幚聿煌奈淖趾托畔⒌臅r(shí)候,大腦中的不同腦區(qū)會(huì)有組合性的不同反應(yīng)。就是《Nature》上面發(fā)過的一篇文章,說我們?nèi)祟愒谙胍粋€(gè)單詞或者是文字的時(shí)候,我們大腦的不同腦區(qū)是有一個(gè)不同的對(duì)應(yīng)?,F(xiàn)在也開發(fā)了一些簡(jiǎn)單的應(yīng)用,可以用大腦直接輸入一個(gè)簡(jiǎn)單的數(shù)字,在通過大量的訓(xùn)練的情況下。

導(dǎo)讀

在一項(xiàng)研究中,研究人員展示了一種腦皮層內(nèi)腦機(jī)接口,它可以利用一種新的遞歸神經(jīng)網(wǎng)絡(luò)解碼方法,從運(yùn)動(dòng)皮層的神經(jīng)活動(dòng)中解碼想象的書寫動(dòng)作,并將其實(shí)時(shí)翻譯成文本。憑借這個(gè)BCI,該項(xiàng)研究的參與者(手癱瘓)的打字速度超過了其他任何一個(gè)BCI的打字速度:每分鐘90個(gè)字符,準(zhǔn)確率達(dá)到99%,并且具有通用自動(dòng)校正功能。

可以說,這樣的打字速度與項(xiàng)目中參與者所在年齡組的健全智能手機(jī)打字速度(每分鐘115個(gè)字符)相媲美了,并且大大縮小了啟用BCI的打字速度與智能打字速度之間的差距。

研究人員表示,該項(xiàng)目的研究結(jié)果為BCI打開了一種新的方法,并證明了在癱瘓數(shù)年后能夠精確解碼,快速、靈巧動(dòng)作的可行性。

實(shí)驗(yàn)過程

研究人員經(jīng)過對(duì)BCI領(lǐng)域大量的調(diào)研發(fā)現(xiàn),癱瘓后運(yùn)動(dòng)皮質(zhì)中的運(yùn)動(dòng)意圖(例如抓取或移動(dòng)電腦光標(biāo))仍通過神經(jīng)編碼。諸如手寫之類的靈巧運(yùn)動(dòng)技能也保持不變。研究人員通過記錄中央前回手“knob”區(qū)域中兩個(gè)微電極陣列的神經(jīng)活動(dòng)來(lái)測(cè)試這一點(diǎn),同時(shí)項(xiàng)目實(shí)驗(yàn)的參與者T5嘗試手寫單個(gè)字母和符號(hào)(圖1A)。T5有高位脊髓損傷,從頸部以下癱瘓。我們指導(dǎo)T5“嘗試”像他的手沒有癱瘓一樣寫字(同時(shí)想象他拿著一支筆在一張格子紙上)。

研究人員使用主成分分析將記錄的神經(jīng)活動(dòng)(multiunit threshold crossing rates,多閾值交叉率)降低到包含最大方差的前3個(gè)維度(圖1B)。盡管各個(gè)試驗(yàn)中神經(jīng)活動(dòng)的高峰和低谷時(shí)間不同(可能是由于書寫速度的波動(dòng)),但神經(jīng)活動(dòng)似乎很強(qiáng)且可重復(fù)。

研究者讓參與者T5嘗試按照電腦屏幕上的指示一次手寫一個(gè)字符,如下圖1A中所示,下面的面板按照時(shí)間線描述屏幕上顯示的內(nèi)容。并通過調(diào)整神經(jīng)活動(dòng)的時(shí)間來(lái)消除書寫速度的反復(fù)變化,研究者發(fā)現(xiàn)每個(gè)字母的活動(dòng)模式是一致的。

如何利用BCI來(lái)進(jìn)行大腦想象手寫進(jìn)行文本輸出

圖1 手寫運(yùn)動(dòng)時(shí)的神經(jīng)編碼

上圖1為手寫操作的神經(jīng)編碼。

(A)參與者T5嘗試按照電腦屏幕上的指示一次手寫一個(gè)字符。

(B) 顯示了三個(gè)示例字母(d, e和m)和每個(gè)字母的27次重復(fù)(“試驗(yàn)”)的前3個(gè)主成分(PCs)的神經(jīng)活動(dòng)。顏色尺度在每個(gè)面板中分別歸一化,以便可視化。

(C)通過調(diào)整神經(jīng)活動(dòng)的時(shí)間來(lái)消除書寫速度的反復(fù)變化。在C上方的插圖中,示例時(shí)間翹曲函數(shù)顯示為字母“m”,并且相對(duì)接近于恒等線(每次試驗(yàn)的翹曲函數(shù)用不同顏色的線繪制)。

實(shí)驗(yàn)中顯示31個(gè)測(cè)試字符的解碼鋼筆軌跡:26個(gè)小寫字母、逗號(hào)、撇號(hào)、問號(hào)、斜杠(~)和大于號(hào)(>),如下圖D所示。預(yù)期的2D筆尖速度通過交叉驗(yàn)證從神經(jīng)活動(dòng)中線性解碼(每個(gè)字符都被顯示出來(lái))。解碼后的速度在整個(gè)試驗(yàn)中平均,并進(jìn)行整合以計(jì)算筆軌跡(橙色圓圈表示軌跡的開始)。

(E)利用t-SNE繪制的神經(jīng)活動(dòng)的二維可視化圖。每個(gè)圓圈都是一個(gè)單獨(dú)的試驗(yàn)(31個(gè)字符中的每一個(gè)對(duì)應(yīng)27個(gè)試驗(yàn))。

如何利用BCI來(lái)進(jìn)行大腦想象手寫進(jìn)行文本輸出

圖1 手寫運(yùn)動(dòng)時(shí)的神經(jīng)編碼

在該項(xiàng)研究中,研究者設(shè)計(jì)了一套解碼流程,算法示意圖如下圖A。首先,神經(jīng)活動(dòng)(多閾值交叉)進(jìn)行時(shí)間分檔(20 ms分檔)并在每個(gè)電極上進(jìn)行平滑處理。然后,遞歸神經(jīng)網(wǎng)絡(luò)(RNN)將此神經(jīng)種群時(shí)間序列(xt)轉(zhuǎn)換為描述每個(gè)字符的可能性和任何新字符開始的可能性的概率時(shí)間序列(pt-d)。 RNN有一秒鐘的輸出延遲(d),它有時(shí)間觀察完整字符,然后在進(jìn)行識(shí)別。最后,對(duì)字符概率進(jìn)行閾值處理,以產(chǎn)生用于實(shí)時(shí)使用的“原始輸出”(當(dāng)“新字符”概率在t時(shí)刻超過一個(gè)閾值時(shí),最有可能在t+0.3時(shí)刻發(fā)出字符)。在一個(gè)離線的回顧性分析中,字符概率與一個(gè)大詞匯量的語(yǔ)言模型結(jié)合在一起來(lái)解碼參與者最可能寫的文本(研究人員使用一個(gè)定制的50,000字的雙向字符模型)。

如何利用BCI來(lái)進(jìn)行大腦想象手寫進(jìn)行文本輸出

圖2.手寫嘗試的實(shí)時(shí)神經(jīng)解碼

在上圖B中,顯示了兩個(gè)實(shí)時(shí)示例試驗(yàn),表明RNN能夠解碼從未訓(xùn)練過的句子中易于理解的文本。錯(cuò)誤以紅色突出顯示,空格用“>”表示。 (C)顯示錯(cuò)誤率(編輯距離)和打字速度,為期5天,每個(gè)階段有4個(gè)block,每個(gè)block包含7-10個(gè)句子(每個(gè)block用一個(gè)圓圈表示)。該速度是第二快的皮質(zhì)內(nèi)BCI7的兩倍以上。

研究人員分析了16個(gè)手寫字符(持續(xù)1秒)和16個(gè)手寫直線運(yùn)動(dòng)(持續(xù)0.6秒)對(duì)應(yīng)神經(jīng)活動(dòng)的時(shí)空模式如下圖A,并通過對(duì)給定運(yùn)動(dòng)的所有試驗(yàn)(aftertime-warping to align the trials in time)進(jìn)行平均,發(fā)現(xiàn)了時(shí)空神經(jīng)模式。然后,神經(jīng)活動(dòng)被重新采樣以平衡每組動(dòng)作的持續(xù)時(shí)間(否則直線運(yùn)動(dòng)的持續(xù)時(shí)間會(huì)更短),得到每個(gè)動(dòng)作的192 x 100矩陣(192個(gè)電極和100個(gè)時(shí)間步),如圖3B。

如何利用BCI來(lái)進(jìn)行大腦想象手寫進(jìn)行文本輸出

上圖(C)為每一組計(jì)算神經(jīng)模式之間的成對(duì)歐幾里得距離,揭示字符更大的最近鄰距離(但不是平均距離)。每個(gè)圓圈代表一個(gè)移動(dòng),條形高度表示平均值。(D)較大的最近鄰距離使字符比直線更容易分類。噪聲以標(biāo)準(zhǔn)偏差為單位,并且與距離的大小匹配。(E) 字符和直線的空間維數(shù)相似,但字符的時(shí)間維數(shù)高兩倍,表明更復(fù)雜的時(shí)序模式構(gòu)成最近鄰距離的增加和更好的分類性能。誤差條顯示了95% CI (bootstrap百分位數(shù)法)。維度被定義為參與比率,它近似等于解釋80%的變量所需的維度數(shù)。(F,G, H)一個(gè)玩具例子可以直觀地說明增加的時(shí)間維度如何使神經(jīng)軌跡更加可分離。畫出了四個(gè)神經(jīng)軌跡(N1和N2是兩個(gè)假設(shè)的神經(jīng)元,它們的活動(dòng)被限制在一個(gè)空間維度,即單位對(duì)角線上)。通過增加一個(gè)彎曲允許軌跡隨時(shí)間變化(將時(shí)間維度從1增加到2),可以實(shí)現(xiàn)更大的最近鄰居距離(G)和更好的分類(H)。

研究結(jié)論

這些結(jié)果表明,時(shí)變運(yùn)動(dòng)模式(例如手寫字母)從根本上比點(diǎn)對(duì)點(diǎn)運(yùn)動(dòng)更容易解碼,因此可以實(shí)現(xiàn)更高的通信速率。這個(gè)概念可以更廣泛地應(yīng)用于改進(jìn)任何BCI,使其能夠在一組選項(xiàng)之間進(jìn)行離散選擇(通過將這些選項(xiàng)與隨時(shí)間變化的手勢(shì)相關(guān)聯(lián),而不是簡(jiǎn)單的動(dòng)作)。利用最大化運(yùn)動(dòng)之間最近鄰距離的原則,為了便于分類,可以優(yōu)化一組軌跡(就像以前優(yōu)化目標(biāo)位置時(shí)所做的那樣)。

研究人員為此進(jìn)行了相應(yīng)的探索,并設(shè)計(jì)了一個(gè)字母表,理論上比拉丁字母表中的字母更容易分類(圖4)。研究人員的發(fā)現(xiàn),從神經(jīng)解碼的角度揭示了拉丁字母的一個(gè)缺點(diǎn):大量的冗余字母以相似的方式書寫(大多數(shù)字母以向下筆劃或逆時(shí)針的旋開始)。

看完上述內(nèi)容是否對(duì)您有幫助呢?如果還想對(duì)相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章,請(qǐng)關(guān)注億速云行業(yè)資訊頻道,感謝您對(duì)億速云的支持。

向AI問一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI