政大大學報

AI辨識手寫軌跡 生成獨有書法字體

2022/12/14 22:47:59
由左至右分別為團隊成員邱世宏、劉沛勳、楊奕炫、廖祥任、陳玟伃、霧峰農工電子科老師洪睿懌、頒獎人和指導老師張傳旺。 圖/書法大師團隊提供

【記者何予綜合報導】「現在的年輕人很少寫字,都是透過電腦打字。」為推廣漢字之美並帶動書寫,勤益科技大學資訊工程系「書法大師」師生團隊,開發「空中揮毫書法生成系統」,透過模擬真實手寫狀態生成獨一無二的字,同時解決商用字體的版權問題。此系統在第四屆大手攜小手智慧創新應用競賽獲得冠軍。

空中揮毫書法生成系統由「空中手寫辨識」和「漢字書法生成」兩部分組成。首先空中手寫辨識會利用MediaPipe(註一)手部追蹤模型,建立手部21個關節點,藉捕捉節點位置的改變,追蹤畫面中手部在空中揮動的軌跡圖形。接著,再由書法生成系統,將描繪出的圖形生成出具有書法風格的字型,「不用準備毛筆、宣紙、墨汁,透過電腦運算就能寫出書法字。」團隊成員楊奕炫補充。

註一:MediaPipe 是一項多媒體機器學習模型應用框架,透過MediaPipe可以達到手部追蹤、人臉檢測或物體檢測等功能。
使用者在空中比劃出字型後,選擇想要生成的書法風格,便能夠將手寫軌跡生成出該風格的文字圖檔。 圖/書法大師團隊提供

團隊透過生成對抗網路(Generative Adversarial Network,GAN)(註二)訓練「漢字書法生成」系統。楊奕炫以仿冒者和鑑別者作為比喻說明,團隊將書畫字帖作為資料給機器學習後,仿冒者會仿冒出類似的圖像,鑑別者則會鑑別仿冒圖和真實字帖的差異,「所以兩個網路一直對抗,就會讓模型成長得越好。」

註二:生成對抗網路是深度學習中與人工神經網路相關的一項應用。相互對抗的生成網路與鑑別網路,可以大幅減少機器學習時需要的資料量。

使用者只需對鏡頭書寫後選擇想要的字體,系統便會依手寫軌跡生成該風格字型。楊奕炫解釋,系統不會辨識手寫軌跡是什麼字,而是直接將圖轉換成圖,手寫字經過圖像編碼器後,會慢慢提取圖像特徵,經過圖像解碼器,一步步生成出書法風格的字型。

空中揮毫書法生成系統操作介面,使用者只需自備帶有攝影鏡頭的電腦,便可以在螢幕上看到描繪的字型和生成的結果。 圖/書法大師團隊提供

「我們比較想解決的是商用字型,很多字型都要花高額的版權費。」指導老師張傳旺表示,將來此系統開放大眾免費使用,能提供設計師做出具有個人風格的字。因海報設計等製圖需求,而曾經購買商用字型的洪振嘉表示,在設計時為達到清晰傳遞資訊的考量,較少使用手寫風格的字體,即使使用也會為統一整體視覺,選擇每個字型樣式都經過精準設計的字體。「它固然是一個很好的嘗試、創新,但它不會改變字體製作、字體販賣的大環境。」洪振嘉說。

張傳旺坦言:「觀眾對著鏡頭比劃,螢幕上就會出現,當然是娛樂效果比較大。」但他也表示,目前技術可以結合其他輸入方式,例如使用手寫板,或者直接將文字拍照上傳系統,便能有效率地生成字串,應用在製作春聯等用途。系統目前已可產出七種不同的書法字型,團隊未來將持續訓練系統,擴展應用範圍。