政大大學報

屏大創VR學習系統 引心障者自主購物

【記者張佳琪綜合報導】藉由裝置的手勢感應器偵測使用者手部動作,連結螢幕中的虛擬手指,使之推移並觸碰物品,即可模擬結帳。國立屏東大學資訊學院副院長黃鎮淇帶領學生團隊研發「VR虛擬實境便利商店購物學習系統」,使身心障礙者透過虛擬實境(Virtual Reality, VR)練習自主購物

社團法人屏東縣啟智協進會啟智學員試用「VR虛擬實境便利商店購物學習系統」,學習購物與結帳。 圖/黃鎮淇提供

傳統在教學現場,心智障礙者(以下簡稱心障者)藉由教師從旁引導,透過觀看影片與動畫,接受指示拿取商品與付錢,教師再陪同他們前往商店實際演練。然而,偏鄉地區缺少便利商店,能實際操作的機會較少,因此心障者要學習獨立生活仍有困難,於是團隊研發VR虛擬實境便利商店購物學習系統,使其能以模擬情境的方式重複練習購物,達到自主生活的目的。

此系統拍攝便利商店後,以程式建立擬真場景,呈現前、後、上、下、左、右的環繞景象,並結合手勢感應器,使裝置感應使用者手勢以觸碰物品,學習購買與結帳的技能。而系統分為清單版與計算版,清單版任務為心障者按照指定清單購買,較進階的計算版則是限定使用者花費額度,使運用額度的同時,也能理解數字概念與學習找零。

「VR虛擬實境便利商店購物學習系統」計算版執行畫面,場景為便利商店,螢幕中的手是由手勢感應器偵測,若觸碰左右箭頭則可以轉移方向。 圖/黃鎮淇提供

黃鎮淇說:「心障者拿錯商品的當下若未立即被教導,他們便無法理解結帳時被制止的原因。」因此團隊便在系統增添立即回饋功能,意即當使用者碰觸非其所需購買的商品時,系統能馬上跳出提示。此外,為掌握學習狀況,團隊更於系統內加裝數據蒐集程式,使老師能夠分析心障者的購買行為,並加強個別輔導。

該系統僅需連接螢幕、手勢感應器以及電腦主機,因此造價相對於市售VR系統較低。團隊學生蔡承軒提到,團隊未來預計會設計更困難的關卡,協助學習購買多種類的商品。黃鎮淇則說明,他們也期待將系統推廣至各地啟智協進會,並結合跑步機,解決心障者運動不足的問題。 

團隊與屏東縣啟智協進會成員合影,期盼此系統能夠協助啟智學員自理生活。 圖/黃鎮淇提供

新北市板橋區莒光國民小學特教教師鄧兆軒認為,本次研發能增加心障者在商店情境下的練習次數,也期待團隊能夠依程度設計不同難度的關卡,以達到最佳學習效果。臺北市立大學特殊教育學系學生陳佩愉表示,VR場景雖然擬真,與實際商店仍有落差,但他也認為,系統提供了教育現場一個新的教學輔具,讓教師有多種教學工具能夠選擇。