沉浸式學(xué)習(xí)促進(jìn)教育發(fā)展:轉(zhuǎn)變UI- 用今天的技術(shù)設(shè)計(jì)明天的交互界面

隨著英特爾 實(shí)感 技術(shù)對交互式學(xué)習(xí)增強(qiáng)，真實(shí)和虛擬世界之間的區(qū)別消失

作者：John Tyrrell

了解更多有關(guān)英特爾實(shí)感技術(shù)，請點(diǎn)擊：https://software.intel.com/zh-cn/

觸摸和手勢控制、圖片識別和增強(qiáng)現(xiàn)實(shí) (AR) 融入各式各樣的教育應(yīng)用和玩具，將虛擬和現(xiàn)實(shí)世界交融在一起，創(chuàng)造出即使成年人也難以理解的世界。 英特爾 實(shí)感 技術(shù)等日益開放和復(fù)雜的技術(shù)正在推動這些變化，而且隨著設(shè)備不斷推出新特性，界限變得越來越模糊。 結(jié)果創(chuàng)造了一個(gè)新型的娛樂和學(xué)習(xí)世界，其中虛擬和現(xiàn)實(shí)的區(qū)別越來越模糊。

3D4Medical、PlayTales 和 Scholastic 是首批嘗試在教育和學(xué)習(xí)領(lǐng)域部署英特爾實(shí)感技術(shù)的開發(fā)團(tuán)隊(duì)。 他們與英特爾密切合作，探索技術(shù)潛力并克服技術(shù)障礙，其即將推出的應(yīng)用和產(chǎn)品將為兒童和成年人同時(shí)帶來新一輪交互式創(chuàng)新。

感知治療

交互式學(xué)習(xí)不僅適用于面向兒童的交互式應(yīng)用，還適用于許多其他應(yīng)用。 總部位于愛爾蘭的 3D4Medical 開發(fā)了跨解剖、健康和健身以及醫(yī)療參考等平臺的應(yīng)用。 3D4Medical Essential Anatomy* （圖 1）已經(jīng)過四代更新，目前是 Windows*、Android* 和 iOS* 中最暢銷的醫(yī)學(xué)應(yīng)用。

圖 1： Essential Anatomy 截圖

該團(tuán)隊(duì)目前正在努力利用英特爾實(shí)感技術(shù)的優(yōu)勢，以滿足醫(yī)療空間內(nèi)使用的應(yīng)用的嚴(yán)格需求。 3D4Medical 軟件開發(fā)部門經(jīng)理 Sergey Bushtyrkov 選擇使用帶有 Unity 插件的英特爾 實(shí)感 SDK，以便更輕松地實(shí)現(xiàn)在虛擬空間為肢體建模的預(yù)期結(jié)果。

Bushtyrkov 解釋：“英特爾 實(shí)感 3D 攝像頭和英特爾實(shí)感 SDK 可提供信息以創(chuàng)建您所需的最終的商業(yè)應(yīng)用，而不只是數(shù)據(jù)。 我們需要一個(gè) 3D 引擎創(chuàng)建具有吸引力的模型，因此我們使用 Unity 創(chuàng)建了一個(gè)環(huán)境來操作雙手。”

繪制人體四肢和關(guān)節(jié)的精細(xì)程度在醫(yī)療環(huán)境中具有非常重要的意義。 Bushtyrkov 目前正在集中開發(fā)自動精確映射手部的特性，其功能將遠(yuǎn)超過多數(shù)由手勢來控制的應(yīng)用。 Bushtyrkov 表示：“攝像頭可以捕獲手部特定的點(diǎn)，并對其進(jìn)行數(shù)字化處理。 該數(shù)據(jù)流包括手部每個(gè)點(diǎn)（共 22 個(gè)點(diǎn)）的坐標(biāo)和旋轉(zhuǎn)角度（圖 2）?！?/p>

圖 2：  英特爾實(shí)感 3D 攝像頭追蹤的手部點(diǎn)

將原始數(shù)據(jù)轉(zhuǎn)化為精確建模的虛擬手部是一個(gè)復(fù)雜的過程，它要求團(tuán)隊(duì)特別注意醫(yī)療應(yīng)用所需的細(xì)節(jié)。 Bushtyrkov 表示：“我們創(chuàng)建人手的定性模型，將其與我們從英特爾實(shí)感 3D 攝像頭獲取的信息進(jìn)行整合，使其活動并對其進(jìn)行調(diào)整，極大推動了技術(shù)的發(fā)展。

Bushtyrkov 繼續(xù)表示：“我們嘗試應(yīng)用到手部的數(shù)據(jù)準(zhǔn)確性極具挑戰(zhàn)性。 借助英特爾，我們解決了這一挑戰(zhàn)，我們使用 Unity 引擎插入手部動畫?！?/p>

3D4Medical 團(tuán)隊(duì)長期以來一直使用英特爾實(shí)感技術(shù)，確保一直使用最前沿的新興技術(shù)來執(zhí)行基本任務(wù)。 3D4Medical 業(yè)務(wù)發(fā)展部門副總裁 Niall Johnston 強(qiáng)調(diào)：“從我們合作的企業(yè)來看，我們在許多領(lǐng)域都保持技術(shù)領(lǐng)先。我們在早期開發(fā)階段便采用了該技術(shù)，這于我們而言是一個(gè)寶貴的機(jī)會，因?yàn)槲覀兛梢匝芯磕軌蚴褂盟鍪裁??！?/p>

講故事

總部位于西班牙的 PlayTales 早在 2012 年便開始在 Apple App Store 上出售交互式書籍，并很快成為市場領(lǐng)頭羊。 該企業(yè)在全球各大知名品牌（包括加菲貓*、芝麻街* 和小王子）與自己的品牌 My New Baby* 的基礎(chǔ)上開發(fā)了多款產(chǎn)品。 PlayTales 門店采用七種語言推出了 200 多種出版物，成為想購買交互式故事書的全球親子的首選之地。

該團(tuán)隊(duì)積極倡導(dǎo)在其即將推出的 Wizard of Oz* 交互式立體書及其教育科學(xué)應(yīng)用 Professor Garfield* 中使用英特爾實(shí)感技術(shù)（圖 3）。 PlayTales 的首席執(zhí)行官 Enrique Tapias 表示：“我們了解到英特爾的新技術(shù)后，覺得必須研究一下從體驗(yàn)、3D 顯卡和交互方面能夠?yàn)榭蛻糇瞿男└倪M(jìn)?！?/p>

圖 3： 兒童用手在Professor Garfield 應(yīng)用中操作蝴蝶

雖然英特爾實(shí)感技術(shù)還處于預(yù)發(fā)布階段，PlayTales 獲得的不僅是在產(chǎn)品中部署一項(xiàng)新技術(shù)， 還是一次與技術(shù)領(lǐng)先企業(yè)合作的機(jī)會。 PlayTales 的首席技術(shù)官 Pablo Benitez 表示：“在部署應(yīng)用的過程中，英特爾同時(shí)開發(fā)了英特爾實(shí)感 SDK。 我們需要適應(yīng)這一點(diǎn)。 好的一面是，我們可以第一手測試新特性。我們親眼看到應(yīng)用和 SDK 不斷發(fā)展，提供出許多能夠幫助我們增強(qiáng)交互的酷炫特性。 我們非常喜歡輪廓模式功能，因?yàn)樗軌蜃粉櫨嚯x攝像頭最近的對象的輪廓。 我們利用該功能將用戶的手部轉(zhuǎn)換為游戲中的  3D 模型，繪制出一個(gè)手部形象。 借助它，用戶可以使用自己的手繪制一個(gè)桶的形狀接水，或用手指指引蝴蝶。”

行為變化

采用英特爾實(shí)感技術(shù)為 PlayTales 帶來諸多顯著優(yōu)勢。 Tapias 表示：“我們提前采用數(shù)年之后才會上市的技術(shù)， 這對我們非常重要。” Benitez 繼續(xù)表示：“我們還提前了解了兒童的體驗(yàn)。 我們進(jìn)行了自己的可用性測試，現(xiàn)在，英特爾焦點(diǎn)小組對我們的內(nèi)容及英特爾實(shí)感技術(shù)的部署進(jìn)行了測試，也為我們提供了諸多幫助。  在測試 Wizard of Oz 和 Professor Garfield 過程中，我們注意到，兒童在全新的 3D 世界中進(jìn)行交互時(shí)，無法理解深奧的概念。 而且，他們總是離開攝像頭的視野。 因此，我們部署了分步指導(dǎo)、教程和提示，以教授他們能夠移動到哪里以及如何做?！?/p>

隨著客戶及其預(yù)期快速發(fā)展，PlayTales 利用這些洞察引領(lǐng)目前和未來的產(chǎn)品。 Tapias 表示：“孩子的行為變化非?？欤@主要由于其獲得的技術(shù)和設(shè)備所導(dǎo)致。 我認(rèn)為，借助英特爾實(shí)感技術(shù)，孩子們將有更多選擇。 孩子們不僅能夠?qū)W習(xí)或閱讀，還能夠與內(nèi)容交互，比如，在 Professor Garfield 中引導(dǎo)蝴蝶的移動。”

Tapias 及其團(tuán)隊(duì)認(rèn)為英特爾實(shí)感技術(shù)帶來的全新交互方式具有極大的潛力，同時(shí)認(rèn)為需要細(xì)心控制每一項(xiàng)部署，向高標(biāo)準(zhǔn)完善，并根據(jù)不同的環(huán)境（學(xué)習(xí)或娛樂）進(jìn)行調(diào)整。 對于 Tapias，前景無疑是樂觀的： “英特爾實(shí)感技術(shù)絕對是未來幾年內(nèi)最重要的技術(shù)之一，它不僅適用于計(jì)算機(jī)和平板電腦，還適用于兒童使用的設(shè)備，如平板電腦和智能手機(jī)?！?/p>

神奇的 Scholastic

Scholastic 在兒童娛樂領(lǐng)域享有很高的聲譽(yù)，其產(chǎn)品包括跨多平臺的書籍、艾美獎獲獎電視作品、視頻游戲和交互式學(xué)習(xí)產(chǎn)品等。 Scholastic Media 數(shù)字產(chǎn)品部門主管 Jennifer Contrucci 表示：“我們將品牌主題和人物與技術(shù)相結(jié)合來生產(chǎn)內(nèi)容。 我們使用技術(shù)是因?yàn)樗軌驇砗芎玫男Ч?，而不是一種附加特性?！?/p>

該公司的許多品牌已經(jīng)成為構(gòu)成美國及其他國家兒童文化的一部分，包括 Clifford the Big Red Dog* 和 Magic School Bus*。 目前，該公司在 I Spy* 品牌中采用了英特爾實(shí)感技術(shù)，該品牌最初創(chuàng)建于 1992 年，是一系列兒童書籍，現(xiàn)在成為了交互式世界。

圖 4：  I Spy Pirate Ship 截圖

I Spy Pirate Ship* （圖 4） 是該品牌的新增內(nèi)容，專門針對便攜式一體機(jī)和 2 合 1 電腦設(shè)計(jì)。 Contrucci 表示：“該款應(yīng)用采用了英特爾實(shí)感 SDK 中的許多特性，包括手勢、手部張開-握住檢測以及面部點(diǎn)追蹤等。 您可以在游戲中感受到各種感知功能?！?/p>

兒童和攝像頭

I Spy Pirate Ship 的一個(gè)活動是通過烏鴉巢穴中的望遠(yuǎn)鏡尋找星體上躲藏的物體（圖 5）。 當(dāng)部署英特爾實(shí)感技術(shù)，以便追蹤用戶掃視天空時(shí)頭部的運(yùn)動情況時(shí)，該團(tuán)隊(duì)遇到了一些有趣的挑戰(zhàn)。

圖 5： I Spy Pirate Ship 的望遠(yuǎn)鏡視圖

Contrucci 解釋：“因?yàn)楹⒆拥倪\(yùn)動不平穩(wěn)且不受控制，所以我們無法在他們觀看時(shí)持續(xù)檢測到他們的方向。 我們將編程更改為點(diǎn)追蹤。 現(xiàn)在，游戲?qū)ふ颐娌康奶囟c(diǎn)，比如鼻尖，結(jié)果證明非常有效?！?/p>

當(dāng)用戶發(fā)現(xiàn)一個(gè)物品時(shí)，將會停住來通知程序，這一看似簡單的交互，為受眾帶來出色的體驗(yàn)。 Contrucci 表示：“結(jié)果證明，這對于孩子們來講是一個(gè)神奇的體驗(yàn)，因?yàn)樗麄兏杏X自己真正處在烏鴉巢穴環(huán)境中，他們實(shí)際做的事情非常重要?！?/p>

對于 Contrucci，當(dāng)用戶面部停在特定位置時(shí)應(yīng)用能夠識別的能力具有很大的未來潛力。 她繼續(xù)表示：“我們能夠看到這種功能可以產(chǎn)生許多其他應(yīng)用。 比如，如果一個(gè)幼兒正在看 eBook*，她在一張獅子圖片上停住，這時(shí)候非常適合做出反應(yīng)，提供動物的名稱及描述。 這能夠?yàn)橛變禾峁斑m時(shí)”的幫助。”

社交學(xué)習(xí)

對于交互性在教育過程中是否能夠帶來真正的優(yōu)勢的問題，英特爾游戲和教育產(chǎn)品經(jīng)理 Ornit Gross 表示毋庸置疑。 “當(dāng)提供活靈活現(xiàn)、沉浸式和有趣的教育材料時(shí)，能夠幫助記憶， 幫助學(xué)習(xí)。”

Ornit 繼續(xù)表示：“當(dāng)初入該領(lǐng)域時(shí)，我們發(fā)現(xiàn)，許多因素可以共同作用，提供有效的學(xué)習(xí)體驗(yàn)。 其中之一是交互性 — 無論是與教師、朋友還是應(yīng)用交互，只有交互才能夠加深學(xué)習(xí)過程?！?/p>

雖然英特爾實(shí)感技術(shù)代表了一流的交互性技術(shù)，但是它只是其中一個(gè)因素。 Ornit 表示：“另一個(gè)因素是社交。 您不是自己學(xué)習(xí)，而是在一個(gè)團(tuán)隊(duì)中學(xué)習(xí)。 這是我們認(rèn)為可以繼續(xù)改進(jìn)的部分，我們期待在下一代中看到這一改進(jìn)。 主要是讓兒童感受一對多而非一對一的體驗(yàn)，讓他們認(rèn)為自己在和朋友一起學(xué)習(xí)?！?/p>

全面支持

同時(shí)，英特爾實(shí)感技術(shù)從根本上對開發(fā)團(tuán)隊(duì)（最終對最終用戶）與電腦和移動設(shè)備的交互帶來突發(fā)式的轉(zhuǎn)變，為其帶來巨大價(jià)值。 Ornit 及其團(tuán)隊(duì)對挑戰(zhàn)的渴望為其贏得豐厚的獎勵。 “令我感到驚喜的是，開發(fā)人員了解到英特爾實(shí)感 SDK 能夠同時(shí)適用于低級別數(shù)據(jù)和高級別數(shù)據(jù)后，他們隨即利用所有的 SDK API 編寫了自己的交互方式。 例如，SDK 能夠追蹤整個(gè)面部的 78 個(gè)特征，并可檢測睜眼/閉眼和張嘴等面部表情。 開發(fā)人員將這些功能全部結(jié)合在一起，以便 SDK 能夠發(fā)現(xiàn)用戶做鬼臉。 再如手勢識別。 英特爾實(shí)感  SDK 可追蹤 22 個(gè)手部關(guān)節(jié)點(diǎn)和捏合手勢；一位開發(fā)人員將這些 SDK API 進(jìn)行整合，能夠識別一種特殊的捏合手勢，這種手勢專為游戲的主要角色而設(shè)計(jì)。”

如英特爾所知，技術(shù)只是開始。 內(nèi)容才是最重要的。 Contrucci 總結(jié)了 Scholastic 探索英特爾實(shí)感技術(shù)可能性的動機(jī)： “許多人認(rèn)為，手勢控制將是未來的一大浪潮，因?yàn)槠鋷淼臐摿Σ粌H是兒童交互所需要的，而是自然操作所需要的。 當(dāng)我們使用 I Spy Pirate Ship 來測試兒童的自然交互特征時(shí)，這對于他們而言是一個(gè)全新的體驗(yàn)， 非常令人興奮?！?/p>

了解更多有關(guān)英特爾實(shí)感技術(shù)，請點(diǎn)擊：https://software.intel.com/zh-cn/