政大大學報

智慧唱機 化圖為曲助視障

2016/12/01 00:04:09

【記者陳亭蓉新竹報導】「我們可以看到各樣的美景,但對於視障朋友來說,卻是遙不可及。」國立交通大學電控工程研究所學生陳群詠與團隊共同研發出「聽,不見」,利用感測顏色、判別圖片,進而傳達情感意義,讓視障朋友用聽覺感受視覺世界。該系統於11月19日「2016 MorSensor無線感測積木創意應用設計競賽」中摘下桂冠。

「聽,不見」的系統結構包括唱片機與手機行動應用程式(Mobile application, APP)。唱片機上裝有讀取圖片的「Morsensor顏色感測器」,能將圖中顏色的數值資料,利用藍牙傳輸至手機。應用程式隨後將之處理成對應的音符,編織成一段完整的旋律。「感測器就像我們的眼睛,APP就像我們的大腦」,隊員陳群詠解釋,利用感測器接收圖片資訊,並由應用程式分析。

模擬光碟的圖片放置於模擬的唱盤機上,唱臂在啟動時會移至圖片上讀取圖片中的顏色。圖/陳亭蓉攝
模擬光碟的圖片放置於模擬的唱盤機上,唱臂在啟動時會移至圖片上讀取圖片中的顏色。 圖/陳亭蓉攝

系統透過應用程式演算法,將圖片資訊轉化為快樂、柔和與悲傷三種情緒。分類過程有兩道程序,第一道是利用色彩的明度將圖片分為「正向」(快樂、柔和)與「負向」(悲傷)的情緒;第二道程序則以三原色光值(Red、Green、Blue,RGB),進一步分辨「快樂」與「柔和」的情緒。系統使用感測顏色後即時轉換產生的個別音符,組合出主旋律,配合代表三種情緒的固定伴奏和弦,譜出各式旋律。陳群詠表示:「這樣每張圖片才有獨特的情緒表現,我們也才有不一樣的聽覺感受。」

隊員吳秉祐回憶,當時評審提出若是黑白的照片,系統則可能無法判別圖片情緒是快樂或悲傷的。團隊希望未來能夠利用人工智慧的方式,將情緒更精準分類,並使音樂的曲風多樣化,更貼近人類所能接受的合理且好聽的音樂線條。

評審、交大資訊工程學系教授林一平表示,未來期望投資這個團隊,升級其硬體設備。而除了視障朋友,此系統也適用於其他大眾。陳群詠表示:「因為音樂對人的情緒影響力是最直接的,人們能夠使用不同的感官擁有類似的享受。」