論融合虛擬現實(shí)的可視化交互教輔工具的設計與實(shí)現

摘要：針對傳統教學(xué)輔助工具沉浸感薄弱和知識傳輸方式單一的問(wèn)題，文章以一款詩(shī)詞教輔工具為例，探索基于虛擬現實(shí)技術(shù)（VR）的可視化教學(xué)輔助工具的設計與開(kāi)發(fā)，以彌補傳統教學(xué)輔助工具的不足。文章以虛擬現實(shí)技術(shù)OpenXR為背景，結合虛擬現實(shí)應用的設計開(kāi)發(fā)方法，重點(diǎn)研究虛擬現實(shí)教輔工具的設計與開(kāi)發(fā)方案，并分析虛擬現實(shí)教輔工具的優(yōu)勢和劣勢。開(kāi)發(fā)方案主要包括內容策劃模塊、素材制作模塊、交互設計模塊、程序開(kāi)發(fā)模塊和內容管理模塊。內容策劃模塊主要進(jìn)行題材選擇和腳本策劃。素材制作模塊負責設計和制作三維模型、特效、音效等素材。由掌握虛擬現實(shí)技術(shù)的編程人員設計開(kāi)發(fā)交互設計模塊和程序開(kāi)發(fā)模塊。本項目還融入了語(yǔ)音識別技術(shù)，實(shí)現教輔工具的教、學(xué)、訓、考功能。內容管理模塊主要負責教輔工具的后期維護?；谖鍌€(gè)模塊的設計與實(shí)施，文章總結一套可行的虛擬現實(shí)教輔工具設計與開(kāi)發(fā)方案，研究者可以按照此方案設計開(kāi)發(fā)融入高新數字化技術(shù)的教學(xué)輔助工具。同時(shí)，通過(guò)分析具體的虛擬現實(shí)詩(shī)詞教輔工具案例，得出融入虛擬現實(shí)技術(shù)的教輔工具在體驗感、交互性和教學(xué)內容組織上具有明顯優(yōu)勢。模塊化的設計使具有沉浸感、構想性和交互性的虛擬現實(shí)技術(shù)可以快速融入教輔工具的設計與開(kāi)發(fā)，解決傳統教輔工具缺乏沉浸感、交互感和內容形式單一的問(wèn)題。

關(guān)鍵詞：虛擬現實(shí)；
語(yǔ)音識別；
可視化；
教輔工具

中圖分類(lèi)號：TP311 文獻標識碼：A 文章編號：1004-9436（2023）17-00-03

0 引言

傳統教學(xué)輔助工具是指現實(shí)世界中具體的、實(shí)體的物品，如教科書(shū)、練習冊、黑板、白板等，學(xué)生和教師可以通過(guò)觸摸、翻閱、書(shū)寫(xiě)等方式與這些工具直接互動(dòng)。這類(lèi)教輔工具通常以線(xiàn)性方式組織和呈現教學(xué)內容，學(xué)生在教師的指導下學(xué)習和理解知識，逐步積累和應用知識。隨著(zhù)科技的發(fā)展，虛擬現實(shí)技術(shù)、人工智能技術(shù)、大數據技術(shù)為教育提供了更多的可能性［1］。這些技術(shù)能提供更多交互性、個(gè)性化學(xué)習的機會(huì )，并通過(guò)實(shí)時(shí)互動(dòng)和智能化技術(shù)為學(xué)生提供更加便捷和豐富的沉浸式學(xué)習體驗［2］。

本課題依據虛擬現實(shí)技術(shù)OpenXR標準，以一款基于虛擬現實(shí)技術(shù)、語(yǔ)音識別技術(shù)和游戲開(kāi)發(fā)技術(shù)的古詩(shī)詞教輔工具為例，分析虛擬現實(shí)教輔工具的設計與開(kāi)發(fā)方案，旨在探索虛擬現實(shí)數字化教輔工具的設計與開(kāi)發(fā)路徑。

1 設計與實(shí)現

當前，虛擬現實(shí)教輔工具的設計與開(kāi)發(fā)通常遵循設計、開(kāi)發(fā)、調試、使用、反饋、迭代的線(xiàn)性流程模式。但實(shí)際上，某些環(huán)節是并行發(fā)生的，因此線(xiàn)性生產(chǎn)流程逐漸被模塊化的生產(chǎn)模式取代［3］。為提升融合虛擬現實(shí)交互教輔工具的開(kāi)發(fā)效率，促進(jìn)開(kāi)發(fā)團隊高效分工合作，本項目采用模塊化的設計與實(shí)現模式，主要包括以下五個(gè)模塊。

1.1 內容策劃模塊

內容策劃模塊是指教材出版社、課程組和文化傳媒組織合作完成的一系列任務(wù)，包括市場(chǎng)定位、題材選擇、版權獲取和內容腳本策劃等。

本項目旨在通過(guò)新型的人機互動(dòng)方式，幫助學(xué)生更好地理解和記憶古詩(shī)詞。用戶(hù)既可以通過(guò)誦讀古詩(shī)詞觸發(fā)語(yǔ)音識別技術(shù)變換沉浸式虛擬場(chǎng)景，又可以通過(guò)“游戲闖關(guān)”的方式，默寫(xiě)古詩(shī)詞，考核古詩(shī)詞的掌握情況，在立體形象的沉浸式場(chǎng)景中呈現原本抽象的知識，實(shí)現“教—學(xué)—訓—考”一體化。

關(guān)于人教版語(yǔ)文課本中的古詩(shī)《漁歌子》，根據古詩(shī)詞的教學(xué)要求，項目在傳統的賞析、誦讀、練習、默寫(xiě)四個(gè)部分進(jìn)行了大膽設計和創(chuàng )新。在賞析部分：將歌曲《漁歌子》作為背景音樂(lè )，根據古詩(shī)描述的場(chǎng)景，使用三維建模技術(shù)和動(dòng)畫(huà)技術(shù)創(chuàng )建三維古詩(shī)場(chǎng)景和動(dòng)畫(huà)，利用虛擬現實(shí)技術(shù)使學(xué)生身處三維詩(shī)詞場(chǎng)景中，學(xué)生能夠更加直接地體會(huì )詩(shī)句描繪的場(chǎng)景。在誦讀部分：采用人工智能語(yǔ)音識別技術(shù)，識別用戶(hù)朗讀的詩(shī)句，觸發(fā)鏡頭變換相應的古詩(shī)場(chǎng)景，鼓勵學(xué)生誦讀、記憶詩(shī)句。在練習部分：采用益智類(lèi)游戲幫助學(xué)生記憶古詩(shī)中的生字。在默寫(xiě)部分：考查學(xué)生默寫(xiě)古詩(shī)全文的情況，通過(guò)輸入古詩(shī)句等形式，評估學(xué)生的默寫(xiě)情況。

1.2 素材制作模塊

素材制作模塊主要包括三維模型和場(chǎng)景、動(dòng)畫(huà)、特效、音效、視頻等一系列元素的制作。

三維場(chǎng)景的制作：應用Unity游戲引擎中的地形組件，完成山脈、草地、樹(shù)木、河流的地形編輯。應用3Dmax建模軟件完成白鷺、魚(yú)、蓑翁的建模、貼圖、烘焙等操作，將模型以Fbx格式導出，導入Unity游戲引擎，如圖1所示。

三維動(dòng)畫(huà)的制作：項目中的動(dòng)畫(huà)分為兩類(lèi)，一類(lèi)是場(chǎng)景中攝像機運動(dòng)軌跡動(dòng)畫(huà)，每句古詩(shī)對應場(chǎng)景中的一個(gè)畫(huà)面，采用Unity中的Timeline插件完成攝像機的軌跡動(dòng)畫(huà)。另一類(lèi)是角色動(dòng)畫(huà)，通過(guò)3Dmax建模軟件對白鷺和魚(yú)進(jìn)行關(guān)鍵幀動(dòng)畫(huà)的制作，完成白鷺飛翔和魚(yú)游動(dòng)的動(dòng)畫(huà)制作。

粒子特效的制作：場(chǎng)景中的粒子特效主要包括花瓣粒子特效、雨滴粒子特效、體積霧粒子特效。使用Unity中的粒子特效系統，導入花瓣和雨滴的紋理素材，調整粒子系統組件的參數完成特效制作。

1.3 交互設計模塊

項目的交互設計模塊主要分為界面交互設計、語(yǔ)音交互設計和虛擬現實(shí)交互設計。

界面交互設計：在項目界面中設計可點(diǎn)擊觸發(fā)的交互按鈕，用戶(hù)通過(guò)點(diǎn)擊首頁(yè)界面上的按鈕觸發(fā)場(chǎng)景的跳轉功能，進(jìn)入不同教學(xué)環(huán)節。也可以點(diǎn)擊按鈕返回首頁(yè)，調整背景音樂(lè )音量，以及退出項目等。首頁(yè)交互界面設計如圖2所示。

語(yǔ)音交互設計：在誦讀模塊，用戶(hù)誦讀一句古詩(shī)，程序通過(guò)語(yǔ)音識別，完成古詩(shī)句匹配，如果詩(shī)句誦讀正確則跳轉相應場(chǎng)景畫(huà)面，否則不觸發(fā)畫(huà)面的轉換，實(shí)現效果如圖3所示。

虛擬現實(shí)交互設計：虛擬現實(shí)將學(xué)習者從傳統的二維界面拉入了三維的虛擬空間，因此，虛擬現實(shí)教輔工具與其他教輔工具的人機交互方式存在顯著(zhù)差異。主要分為：頭部轉動(dòng)交互方式、眼睛“凝視”交互方式、手勢交互方式、手柄等外設交互方式、空間定位、肢體交互方式等［4］。在本項目中，用戶(hù)佩戴VR頭盔，實(shí)現場(chǎng)景的360度賞析，融入虛擬世界，如圖4所示。在本項目中，因為要控制攝像頭的運動(dòng)軌跡，所以并未設計虛擬現實(shí)中用戶(hù)的瞬移功能。

1.4 程序開(kāi)發(fā)模塊

程序開(kāi)發(fā)模塊包括編程開(kāi)發(fā)、功能實(shí)現、封裝集成。Unity游戲引擎擁有方便靈活的編輯器、友好的開(kāi)發(fā)環(huán)境、豐富的工具套件和良好的跨平臺特性［5］。項目主要是基于Unity游戲引擎，使用UI組件、碰撞檢測組件、剛體組件、粒子特效組件、動(dòng)畫(huà)組件，時(shí)間線(xiàn)組件采用C#邏輯編程，完成了UI交互、碰撞檢測、物理效果、粒子效果、動(dòng)畫(huà)觸發(fā)、攝像機按軌跡移動(dòng)等基本功能。

SteamVR插件是Valve公司提供給Unity開(kāi)發(fā)者的開(kāi)發(fā)工具，虛擬現實(shí)功能主要是通過(guò)在Unity中加入SteamVR插件，通過(guò)該插件完成VR應用程序的開(kāi)發(fā)，并運行在HTC Vive硬件設備上。

在Unity中使用Windows語(yǔ)音識別API，將誦讀識別后的文字與古詩(shī)詞匹配，實(shí)現實(shí)時(shí)語(yǔ)音識別，通過(guò)C#編程，根據識別結果，控制攝像機的移動(dòng)軌跡。實(shí)現誦讀一句古詩(shī)，出現相應古詩(shī)場(chǎng)景的功能。

1.5 內容管理模塊

內容管理模塊主要涉及內容管理、測試、運營(yíng)、售后等方面。虛擬現實(shí)詩(shī)詞教輔工具在本模塊重點(diǎn)進(jìn)行了實(shí)際的教學(xué)測試，根據測試結果，完善與迭代項目。該項目的主要受眾是少年兒童。從操作能力來(lái)看，一般小學(xué)生可以較為熟練地使用各種電子設備。從內容來(lái)看，因為本項目的內容是語(yǔ)文課本中的古詩(shī)詞，所以小學(xué)生可以高效接收教輔工具中的內容，加深古詩(shī)詞記憶。本項目?jì)H以一首古詩(shī)為例，如果要豐富教輔工具的教學(xué)內容，就要創(chuàng )建統一的內容管理平臺。

2 設計開(kāi)發(fā)中的優(yōu)勢和不足

與傳統教輔工具相比，本項目的教輔工具融入虛擬現實(shí)、語(yǔ)音識別、數字游戲等技術(shù)，豐富了學(xué)生的學(xué)習互動(dòng)體驗，提升了教學(xué)質(zhì)量。其優(yōu)勢主要體現在以下三個(gè)方面。

第一，沉浸式學(xué)習：虛擬現實(shí)教輔工具將知識的傳播方式從二維扁平的單一維度傳輸轉變?yōu)槎喔泄?、?chǎng)景式的多維認知通道的傳播。通過(guò)創(chuàng )造虛擬或仿真情境，讓學(xué)習者置身其中，以體驗的形式學(xué)習。

第二，交互式學(xué)習：語(yǔ)音識別技術(shù)和交互界面技術(shù)，幫助學(xué)生更好地使用教輔工具，調動(dòng)感官效能，使學(xué)生由被動(dòng)的知識學(xué)習者轉變?yōu)橹鲃?dòng)學(xué)習的體驗者和創(chuàng )造者。

第三，游戲式學(xué)習：將電子游戲元素融入教輔工具，使學(xué)生在游戲中獲得學(xué)習的成就感，通過(guò)趣味游戲答題“闖關(guān)”不斷鞏固知識，豐富知識傳輸方式，寓教于樂(lè )。

雖然與傳統的教學(xué)輔助工具相比，融入虛擬現實(shí)技術(shù)的教學(xué)輔助工具在沉浸感、交互性、游戲性上有明顯的優(yōu)勢，但也存在一些需要改善的問(wèn)題。

第一，目前VR可穿戴設備還不夠輕便，長(cháng)時(shí)間負載會(huì )引起生理不適，容易引發(fā)視覺(jué)疲勞，不利于學(xué)生的身心健康。年齡小的學(xué)生難以熟練使用設備，需要教師和家長(cháng)的幫助。

第二，三維虛擬場(chǎng)景固定，難以充分展現所描述的內容。例如，使用三維建模工具再現古詩(shī)詞描繪的場(chǎng)景，建模的場(chǎng)景是固定的，無(wú)法充分體現古詩(shī)詞的意象美學(xué)。如果能將人工智能技術(shù)融入場(chǎng)景塑造，使三維虛擬場(chǎng)景實(shí)時(shí)根據用戶(hù)的要求靈活創(chuàng )建，則更有利于展現古詩(shī)詞的韻味。

第三，缺少統一的素材收集、內容制作、出版發(fā)行的教輔工具管理平臺。虛擬現實(shí)教輔工具的設計與開(kāi)發(fā)的五個(gè)模塊，分屬于不同專(zhuān)業(yè)領(lǐng)域，設計開(kāi)發(fā)過(guò)程中需要跨專(zhuān)業(yè)團隊的支持。高效的一體化教輔工具管理平臺，有利于制作和發(fā)行教輔工具，但目前市面上缺少這類(lèi)平臺。

3 結語(yǔ)

融合虛擬現實(shí)技術(shù)的可視化交互教輔工具不僅使教師和學(xué)生獲得了身臨其境般的教學(xué)體驗，還補齊了傳統教輔工具缺乏互動(dòng)、體驗感不強的短板，有效拓展了知識的傳播途徑。然而，目前此類(lèi)教輔工具在硬件設備、內容制作、平臺管理上存在不足，有待進(jìn)一步完善。

參考文獻：

［1］ 張忠.現代職業(yè)教育生化類(lèi)課程的教輔工具制作［J］.山西青年，2022（9）：51-54.

［2］ 鄭石，豐瑞.教育出版資源的融媒體轉化與創(chuàng )新［J］.中國出版，2022（14）：41-45.

［3］ 郭璐，王曉磊，周榮庭. OpenXR技術(shù)標準下增強現實(shí)出版物的融合創(chuàng )新［J］.科技與出版，2019（4）：71-75.

［4］ 劉振生.虛擬現實(shí)的教育應用現狀及面臨的挑戰［J］.長(cháng)春師范大學(xué)學(xué)報，2022，41（5）：143-148.

［5］ 陳璜.基于Unity3D、VR等技術(shù)的機械設計虛擬仿真系統構建研究［J］.長(cháng)沙大學(xué)學(xué)報，2021，35（2）：20-25.

作者簡(jiǎn)介：仲于姍（1988—），女，山東濟南人，碩士，副教授，研究方向：虛擬現實(shí)。