政大大學報

辨識樂譜 機器人助直笛教學

2017/12/14 01:07:16

【記者謝宜臻綜合報導】建國科技大學電子工程系碩士生張光銘、曾瑞文及學士生程永強研發「具樂譜辨識功能之自動吹笛機器人」獲「2017韓國首爾國際發明展」金獎,運用影像辨識技術引導機械手指演奏樂器,扭轉音樂盒只有固定旋律且曲目變化受限的情形,更兼具娛樂與樂器教學的功能。

使用者輸入樂譜的圖片,圖控軟體LabVIEW便進行音符與音階的影像辨識,張光銘說:「系統使用影像投影法,看行列的像素多寡來判斷是不是五線譜,再把五線譜線譜去掉。」以此方式將音符獨立出來,進而辨識其位置。接著將位置轉換成訊號,以Arduino等硬體來驅動馬達,控制機械手指搭配空壓機送氣完成演奏。

機器人利用圖控軟體LabVIEW進行音符的影像辨識,搭配空壓機送氣來完成演奏。 圖/建國科大電子工程系副教授王俊傑實驗室團隊提供
機器人利用圖控軟體LabVIEW進行音符的影像辨識,搭配空壓機送氣來完成演奏。 圖/建國科大電子工程系副教授王俊傑實驗室團隊提供

指導老師建國科大電子工程系副教授王俊傑表示,他發現小朋友大多藉由音樂老師或是網路影片的教學來學音樂,「想研發一種能輔助我們學樂器的機器人。」目前機器人使用的樂器為高音直笛,無論兒歌或是流行歌曲〈Despacito〉等皆能進行吹奏。曾瑞文表示,樂器初學者可以在演奏過程看到機器人手指的動作,他說:「只要認真觀看並學習指法,即可輕鬆學習如何演奏。」也能藉此提升學生學習興趣。

張光銘補充,研發團隊未來將繼續精進休止符辨識的精準度及樂曲強弱的拿捏,他也說:「只要知道其他的樂器如何詮釋曲子,亦可套用至此系統。」王俊傑則期待未來能組成機器人樂團,「外觀跟人類一模一樣,有溫度、有表情,然後看到樂譜就能演奏出曲子。」而研發團隊也將繼續改良機器人,以辨識複雜度更高的樂譜,同時可吹出具有感情的「抖音」效果,朝仿真機器人的目標前進。

研發團隊運用影像辨識技術引導機械手指演奏樂器,未來將朝人形外觀設計進行改良。 圖/建國科大電子工程系副教授王俊傑實驗室團隊提供
研發團隊運用影像辨識技術引導機械手指演奏樂器,未來將朝人形外觀設計進行改良。 圖/建國科大電子工程系副教授王俊傑實驗室團隊提供