除了透過字幕和手語，聽障人士要如何享受劇場表演，尤其是抽象不可聞的音樂？工研院費時1年，研發「5G共感穿戴裝置」，以特製背心傳遞音樂震動，配合光條明暗變化，用體感和視覺雙管齊下，讓聽障人士也能感受美妙音樂。
穿上特製背心，8顆震動器隨著音樂節奏化為不同震動，搭配流動光條隨著音樂明暗變化，這是工研院研發的「5G共感穿戴裝置」，藉由體感和視覺的方式，在5G廣連結、低延遲的特性下，帶給聽障朋友更豐富的文化體驗。
過去聽障人士欣賞表演時，大多透過字幕或手譯員輔助，但表演中的音樂卻難以傳達。目前國際的解決方式，就是利用聽障者最敏銳的觸覺感官，以體感彌補聽覺缺陷。日本知名的新媒體藝術家落合陽一，就打造一個球形裝置，將音樂轉換為震動與燈光，方便聽障觀眾在演出時抱著感受。而臺灣劇場也會將聲音擴大的箱體，放在特定椅子下方，讓聽障觀眾坐在特定區域感受震動。
「但我們想讓聽障者解放雙手，同時在自由行動的狀態下享受表演，」工研院服務系統科技中心專案副理柯惠晴說。團隊因而設計出臺灣第一個可移動式的背心震動裝置，裡頭配置8顆震動器和流線光條，像是一件酷炫的科技外衣，「不讓觀眾覺得它像一種類輔具，而不敢穿上。」
震動器獨立控制 音樂轉譯更細緻
雖然利用體感轉譯音樂，工研院並非首例，但其中的技術關鍵在於，「要怎麼解析音樂，把音樂很好的傳遞到震動。」曾有聽障舞者分享，如果只是單純震動，感覺像在按摩，無法感受到音樂性，也因此如何轉譯音樂正是Know-How所在。
柯惠晴指出，轉譯音樂之所以困難，是因為音樂是一個複雜的資料來源，包含許多器樂和聲音。團隊在和聽障朋友實驗的過程中發現，原先一直想提供他們豐富音訊，反而造成觀賞困擾，「不如讓他們體驗最主要的節奏和旋律。」
於是團隊不停壓低音樂解析度，最後只剩下重要節奏和綿長旋律。背心上的8顆震動器各自貼合身體不同部位，負責不同任務，比如鎖骨下方，脂肪量少，又連結骨架上所有節點，適合傳達節奏震動；而肚子附近因為脂肪量多，對於節奏的分辨性較差，適合感受長線條的旋律如弦樂，其他部位還有側邊肋骨、腰部、肩胛骨和頸骨下方等。
這次最大的創舉是，8顆震動器全都可以獨立控制。工研院服科中心副經理蘇泰維表示，事實上，國際不乏有震動器數量更多的體感穿戴裝置，但通常只有一個開關控制所有震動器，但團隊為了帶給觀眾更細緻的感受，特意將每顆震動器都設計成可獨立控制，個別賦予不同的頻率或強度。但這也帶來挑戰，電路板的體積越大，穿戴時重量就越重，因此需在重量與體積之間取得平衡。
另一個挑戰則是延遲性。蘇泰維指出，音樂是一個不間斷的訊號傳輸，只要出現一點延遲，就無法帶給觀眾最好的體驗，也會導致後續出現不規則的震動。因此團隊在硬體優化上花了很大功夫，從電路板的晶片設計、軟體優化到機構設計，甚至震動元件如何震到身上，還要考量是否會因高速震動而發出異音，最終成功將傳輸延遲從一開始的4、50毫秒，大幅降低至只有2、3毫秒。
在開發過程中，團隊也密切和聽障朋友一同測試，收集回饋修改產品。由於聽障者的觸覺敏銳很多，有些聽人可以接受的震動，對聽障者反而是反效果，比如團隊曾做出像泡泡破掉「啵啵」的震動，聽人覺得可愛，但聽障者卻覺得太過突然，而有一點驚嚇。也因為每個人的體感差距不同，因此在今年10月團隊將提出第二個優化版本，讓每位觀眾都可以自己調整震動大小。
強化感官認知 觀眾、表演者都受惠
去年9月，在文化部與桃園市文化局支持下，工研院在桃園展演中心舉辦一場別開生面的文化平權展演「Feel Together一場尋找共感的練習」，其中聽障舞者林靖嵐便透露，過去她跳舞時是用腳底感受地板震動，但她穿上體感背心後，不需再把注意力全都放在腳底。
這套裝置也陸續在不同場合登場，像是國家人權館的「人權藝術生活節」、國家兩廳院邀請臺北市立啟聰學校學生參加的「聽覺之外的聲音探索課」，以及與麻省理工學院媒體實驗室、法國創作團隊Orbe交流。
柯惠晴有感而發地說，啟聰學校的學生正值探索世界的階段，透過這套背心，幫助他們體驗到很多原先無法感受的事情，「進而打開一個新的感官，讓他們未來的創作能量更加豐沛。」
除了表演場域，團隊也將裝置延伸導入樂齡場域，帶領十多位長者以樂曲進行本體覺律動，其中不乏帕金森氏症和失智症前期的長者。未來也打算推行到娛樂產業，強化VR和AR的體感體驗，也能減少VR帶來的動暈症，真正讓智慧樂活能量走入生活各個角落。
（本文由工業技術與資訊授權轉載）
