就像智慧手機徹底改變了傳統的行動電話,元宇宙的出現,也將顛覆現在的網路世界。登入元宇宙大門,迎接你的是多采多姿的虛擬國度,使用者在裡面工作、運動、看表演,打破空間阻隔與朋友歡聚,猶如第二人生。工研院結合MR、5G、AI等技術,緊扣元宇宙概念,提前為產業布局元宇宙商機。
虛擬替身現身!打造個人元宇宙
「這是我嗎?」站在螢幕前,驚喜發現年輕版的自己,以3D虛擬人物的形象現身,對著他揮揮手,螢幕中的「小人」也對著自己揮揮手。工研院研發的「互動時光機」,運用即時感測和肢體辨識等技術,打造出個人元宇宙,使用者可在虛擬世界中與3D虛擬人物互動,體驗過往美好時光。
現在的元宇宙技術,往往都需要配戴AR、VR裝置,才能進入虛擬世界,「有沒有可能不需要任何裝置,就能直接進入虛擬世界?」透過三大技術能量,研發實現了這個願望。首先在顯示器上裝設3D感測器,即時辨識使用者的肢體、骨架,找出33個關節點座標,再和虛擬替身相互連結,使用者只要變換動作,虛擬人物也隨之改變。
而虛擬人物的臉部表情,則透過AI影像處理,將真實人物的臉部特徵做轉換,可變老、變年輕甚至變形,達到跨時、跨域改變人物特徵的效果。在成像上,團隊希望虛擬人物呈現3D立體效果,而不只是在顯示器上的平面圖像,因此透過數學運算的方式,讓成像有3D立體效果,看來更加擬真。
這項技術最大的價值,就是不需透過任何穿戴式裝置,就能進入元宇宙世界,有助未來元宇宙的發展和創新。預計在今年下半年,「互動時光機」的核心技術將於高雄衛武營中化身其他互動裝置,讓民眾實際體驗。
除了消費應用外,這項技術也能應用在產業上,像是設備維修的教育訓練。有些產業因為危險性跟特定地域性,或是因為疫情關係無法親臨現場時,就能透過這項技術再搭配感測手套,使用者在虛擬世界中抓取物品,也有真實回饋的感覺,好像真的在組裝或維修東西,工研院已和半導體、鋼鐵、機械、軌道業合作,延伸元宇宙的產業價值。
虛實結合 開創娛樂五感新體驗
操控夾爪、夾取娃娃,如此熟悉的夾娃娃體驗,背景卻不是夾娃娃機台,而是在一片虛擬農場中上演。這是工研院與資策會合作推出的「MR夾娃娃機—快樂農場」,將混合實境(MR)技術與實體夾娃娃機結合,民眾只要戴上MR眼鏡,就能進入元宇宙虛實物件的遊戲世界中,自由互動體驗、挑戰闖關任務。
「MR夾娃娃機—快樂農場」是研發團隊與遊戲業者共同建立的虛實混合示範驗證,以及MR互動娛樂的遊戲,去年底於高雄駁二展出。為了連結虛實世界,團隊一開始先在夾娃娃機內放置實體標記,再運用六自由度空間定位,讓虛擬娃娃對應至實體標記,透過結合虛實物件,增強虛擬場域的真實沉浸感。
在遊戲中,玩家可依照難易度,選擇3種不同關卡,愈快完成任務就獲勝。玩家戴上MR眼鏡,看到虛擬農場的草地、樹木、小屋與流水等景色,接著透過3D虛實疊合定位,利用手套感測與手指彎曲偵測,控制虛擬娃娃機夾爪的移動與開合,利用震動回饋來模擬抓取物體的碰撞,擬真度可達90%以上,更利用聲源與攝影機間的相對位置與距離,模擬或合成出虛擬融合的3D空間聲響,創造更逼真的闖關效果。
受疫情衝擊,這兩年許多展會取消或延期,不少業者順勢整合線下與線上的AR、VR、MR沉浸式體驗,帶動產業跨域整合從上到下游的關鍵技術。像是此次研發的觸覺感測與回饋手套,以及協助廠商開發出下世代MR眼鏡,不但讓民眾體驗創新應用技術的樂趣及便利,也為未來的消費娛樂市場開拓更多商機。
全球首創!5G MR無人機電競飆速登場
「三、二、一,比賽開始!」一架架透著螢光色的無人機,靈敏穿梭在色彩奪目的賽道中,急速轉彎、穿越障礙,展現最酷炫華麗的飛行特技,你來我往、戰況激烈。這是2021年於高雄亞灣AIoT創新園區登場的「5G MR夜光LED無人機競速高手挑戰賽」,完美示範精彩刺激的虛實整合視覺體驗。
不管是高空拍攝、緊急救災,無人機早已被廣泛使用,但在5G時代中,「競技無人機」(Drone Race)已被視為下一個熱門運動賽事,在電競娛樂領域大展身手。在經濟部技術處科專計畫支持下,工研院攜手仁寶、飛競鬥士開發全球首創的5G MR無人機電競系統,此次競技無人機的創新應用,除仰賴5G專網系統外,也需搭配高速定位、低延遲傳輸、即時渲染運算等軟硬整合技術,展現商業潛力。
與過去無人機競速比賽不同的是,選手配戴「第一人稱視角(First Person View;FPV)智慧眼鏡」,宛如坐在駕駛艙內開飛機,可提供選手更好的沉浸感;賽道上除了有實物關卡外,還有在MR眼鏡中才看得見的虛擬障礙物,增加比賽刺激度。透過5G高速、低延遲的即時傳輸,在超過百公里時速下,觀眾也能看到超清晰的畫質轉播,享受零秒差的精彩賽事。
4D環景隨選隨換 解鎖世界鐵馬地圖
在元宇宙的世界中,科技讓運動變得更有趣。工研院研發的「沉浸式騎訓技術」,將4D環景技術融入騎踏運動中,藉由模擬不同景觀,使用者可從日月潭環湖轉換至日本櫻花大道,再騎到綠意盎然的歐洲森林公園,完成許多破風手解鎖世界各地鐵馬地圖的心願。
不同於目前市面上類似的虛擬騎乘訓練,「沉浸式騎訓技術」運用全視覺辨識技術,不須穿戴任何裝置,騎乘體驗更加舒服,不受實體世界天氣影響,也沒有競速的安全疑慮。系統同時會詳細記錄健康資訊,讓使用者即刻觀看健身成果,目前這項技術同樣也和YYsports和救國團合作,導入健身場域。
工研院緊扣元宇宙的概念,以科技加值,將枯燥運動變得活潑生動,除了激發大眾對健康與運動的興趣之外,也期盼透過科技及數據的幫助,達到更好的健身效果,以創新應用引導運動產業快速發展,帶動新一波的活力健身潮。
虛擬投手陪練 揮棒打擊更有臨場感
喜歡打棒球的人對打擊場的發球機都不陌生,但如果想隨時隨地都有人陪練該怎麼辦?工研院開發的「智慧棒球訓練系統」,就透過360度沉浸式虛擬場景的方式,模擬投手投球多變球路,讓揮棒練習更有臨場感。
這項技術由一群愛好打棒球的工程師共同發想,透過虛實整合技術,當使用者戴上MR頭戴裝置後,就能看見虛擬世界中的投手投球而來,此時真實的球體也在同時投出,讓使用者揮棒打擊;這項技術也結合人體姿態深度攝影技術,即時提供揮棒姿勢等調整資訊,提供專業球員的培訓服務。
本技術最大特色在於,研發團隊導入物聯網技術,改善發球機機構,只需在平板電腦上點選,就能模擬曲球、滑球、伸卡球等球路、球速,無須手動來調整發球機,有效提升操練效率,補足傳統訓練的臨場感。目前「智慧棒球訓練系統」已更成功吸引寶成國際集團旗下的運動服務平台YYsports和救國團,導入健身場域,為打擊運動增添樂趣。
VR 360營造嶄新沉浸式劇場展演
在未來的元宇宙時代中,藝術展演也有更獨特的沉浸式體驗。早在2020年底,經濟部技術處便率先攜手工研院和國家兩廳院,發表臺灣第一齣導入5G、VR 360攝影及多視角即時隨選互動技術的示範展演劇《萬花鏡》。
從觀眾戴上VR裝置觀看8K 360度動畫開始,接著利用視訊串流技術將4K高畫質直播到第二現場,觀眾可用平板任意選擇劇中角色觀賞,共感主角的心境變化,以及那種心中有話卻說不出口的矛盾情結;最後再將觀眾拉回真實劇場內,演員穿梭其中,大結局就在劇場內上演。
這是科技與劇場藝術跨領域的新嘗試,由兩廳院負責專案整合、舞台設計與表演藝術;工研院匯集明泰、仁寶、廣達等臺灣廠商,建置全國產化的5G專網,為需要大頻寬傳輸的8K VR 360影片,提供穩定的網路品質,同時也備妥VR頭盔等軟硬體設備;劇本則由對科技素有涉獵的新銳導演莊知耕,運用5G、VR、多視角等特性量身設計。
在5G加持下,即使如8K高畫質影像,也能做到僅0.4秒的低延遲,打造身歷其境的感受。互動科技讓展演跳脫過往的設計思維,產生新的觀演模式,觀眾可切換觀賞視角,不再受制於導演單一視角,打破觀劇的時間與空間限制,運用科技與表演者互動,創造數位時代中嶄新的劇場敘事語彙。
(本文由工業技術與資訊授權轉載)