跳到主要內容

新聞期別 :

關鍵字搜尋 :

SignLens翻譯手語 打造無障礙溝通環境
新知
第1771期
SignLens翻譯手語 打造無障礙溝通環境
2022-11-16
【記者何予綜合報導】現今手語辨識模型多以學習手語為目的,尚無法成為聽人(註一)與聽障間的溝通工具。國立政治大學資訊管理學系學生團隊開發「SignLens——手語語音辨識於混合實境應用」,透過智慧型眼鏡進行雙向辨識,提升溝通效率。此發明獲得第27屆大專校院資訊應用服務創新競賽資訊應用組第一名。註一:聾人稱聽覺正常的人為「聽人」。 語音辨識系統可以將語音即時轉換成文字,透過混合實境裝置可以同時看見對話框和實景,提供聽障使用者即時且具機動性的翻譯服務。 圖/SignLens團隊提供SignLens軟體包含語音辨識系統和手語辨識系統,能夠即時地將語音和手語轉換成文字,出現在混合實境(Mixed Reality,MR)裝置的螢幕上。團隊透過MediaPipe(註二)建立手語辨識的學習模型,經由大量動態影像資料訓練過後,模型可以學習手部運動,辨識出手語動作對應的語意。註二:MediaPipe是一項機器學習模型,其中的手部姿態辨識功能,可以追蹤21個手部關鍵3D定位點在空間中的位置,進一步辨識手勢。 手語辨識系統可以將手語動作翻譯成文字,以對話框形式出現在穿戴式裝置Hololens的螢幕上。 圖/SignLens團隊提供團隊成員宋志謙說明,目前市面上正在開發的手語辨識模型,多以資源和使用人口較多的美國手語(American Sign Language,ASL)為主,而台灣尚未有具統一規格的手語資料庫和辨識系統。「資料集一直都是模型訓練最重要的、最核心的部分。」指導老師簡士鎰說明,面對詞彙資料搜集的困難,團隊初期聘請手語老師提供專業意見和指導,學習手語後自行錄製影片,更開發出「手語辨識資料集收錄平台」,讓使用者能自行錄製、上傳手語影片,補充給模型學習。此外,團隊成員曹子涵補充道,美國手語翻譯系統大多以網頁為主,需要依賴桌電或筆電的攝影機,而團隊結合MR技術,透過眼鏡內建的攝影機進行拍攝、辨識,使SignLens更具機動性和即時性。台灣手語翻譯協會理事長魏如君樂見其成地說:「只要是能夠幫忙溝通的工具都是好的。」然而,他也建議,手語解讀速度和詞彙量應再提升,才能夠實際發揮作用。台灣手語翻譯量能缺乏,政府不提供金融開戶等私人場合公費申請翻譯服務,因此團隊開發產品時以金融服務場景為出發。團隊成員朱芷伶說明,「我們傾向以訂閱制的方式,將軟硬體整套一包租借給銀行。如果是有哪些專業詞語的手語資料想要增加,或者是系統需要改進,就可以馬上反饋給他們。」團隊也希望能夠利用平台蒐集到更多手語資料,擴展使用情境。 台灣目前沒有提供一個泛化且有固定規格的手語資料庫,為解決詞彙資料搜集困難,團隊開發出手語辨識資料集收錄平台,讓使用者能自行錄製、上傳手語影片,補充給模型學習。 圖/SignLens團隊提供 
MAD³結合酒精偵測 提升疲勞駕駛預警普及度
新知
第1713期
MAD³結合酒精偵測 提升疲勞駕駛預警普及度
2019-11-13
【記者張珮慈綜合報導】現今因酒駕與疲勞駕駛而肇事的新聞層出不窮,但市面上並無同時預防兩者發生的裝置。為改善此狀況,中原大學資訊管理學系教授洪智力帶領該系四位學生,研發「MAD³-你的安全行車小幫手」,該裝置結合酒精與疲勞偵測,可安裝於各式車種,改善現行車輛內建疲勞預警系統無法普及安裝的問題。 團隊目前已完成實體裝置,唯現今各構造以電線連接,未來預計改良為透過藍牙無線傳輸,提高便利性。 圖/劉星瑜提供MAD³包含偵測酒精的手持棒、鏡頭與主機,團隊學生劉星瑜說:「為改善現今吹嘴式酒測棒的衛生疑慮,我們將入風處設計為風扇式,亦可多人使用。」只消朝著風扇處吹氣,手持棒內部的感測器便會偵測酒精濃度數值,而濕度感測器則依氣體中水分含量,判定是否以人為方式吹氣,同時加上物件偵測系統防止代吹。 MAD³結合手持裝置、鏡頭與微型電腦,為一外接系統,可安裝於任何車種。 圖/劉星瑜提供在疲勞檢測上,則透過可用於分析圖像、人工智慧(Artificial Intelligence, AI)技術之一的「深度學習」,以鏡頭進行臉部辨識及抓取駕駛眼部特徵,計算眼睛閉合度為檢測疲勞依據,並以智慧語音做出提醒。 MAD³同時具有偵測酒精濃度與疲勞的功能,是團隊認為優於現行系統的優點之一。 圖/劉星瑜提供劉星瑜表示,現有防止疲勞的裝置大多已內建在車內,如車內疲勞駕駛預警系統,其會在駕駛員出現疲勞、打哈欠等狀態時進行即時分析,與語音和燈光提示。但該內建系統無法適用於每種汽車,而MAD³為外接式裝置,不管何種車型都能使用,另一方面,若駕駛不願檢測,或未能通過酒精濃度篩檢,此裝置便會連接汽車的發動系統,使之無法啟動。MAD³體積小,可直接放於儀表板旁,目前以有線方式連接,團隊希望可再改良,以藍牙無線方式結合各構造,提高便利性。為達更加全面的防禦機制,團隊同時預計結合行為辨識功能,劉星瑜說:「當駕駛做出危險行為,如滑手機、手伸到其它地方拿東西等,MAD³便能以智慧語音提醒。」「維持感測器訊號以及硬體的穩定度則較困難。」團隊學生黃揚倫表示,由於團隊經費有限,只能使用市售電線並以手工連接,因此訊號常會被干擾。黃揚倫解釋,起初在硬體上採用的樹莓派,即一種單晶片電腦,遇到需要龐大計算量的驗算法時,經常無法順利運行,為此他們積極申請學校贊助獲取資金,以替換為現今使用的微型電腦。而團隊亦希望先將MAD³推廣至租車公司,當業者裝上此裝置,便可防止租車者酒後與疲勞駕駛,同時保護汽車本身。民眾張宏全表示,此裝置同時具備防止酒駕與疲勞駕駛的功能,確實很方便,「如果在防止疲勞的機制上,加入類似聊天機器人的功能,一定更有幫助!」張宏全笑著說。
置頂