開啟邊緣運算新局
AI浪潮帶來革命性創新，終端裝置對運算效能與省電的要求越來越高。工研院突破技術瓶頸，打造出具備超低功耗、可彈性配置的「下世代運算架構軟硬整合之超低功耗邊緣辨識」技術，讓AI運算省電10倍以上，能效創世界紀錄，獲傑出研究獎金牌獎肯定。
綜觀機器人、無人機、感測器、穿戴裝置、智慧攝影機等設備，未來AI應用無所不在，但這些終端邊緣裝置要執行AI運算，往往面臨耗電高、速度慢、AI演算法龐大且複雜等技術瓶頸。為突破限制，工研院以軟硬整合技術，結合自行開發的AI模型與電路架構，打造出「下世代運算架構軟硬整合之超低功耗邊緣辨識」技術，成功開發省電10倍以上的AI晶片，讓過去只能在雲端或高階電腦執行的AI運算，如今也能在體積微小、極省電的邊緣裝置中實現，有助AI應用全面開花。
「別的AI晶片做不到，這個架構才辦得到！」工研院電子與光電系統研究所組長許世玄表示，能省電10倍以上的關鍵，在於採用「記憶體內運算」（Computing in Memory；CIM）技術，傳統運算架構需不停在處理器和記憶體之間搬運資料，耗時也耗能；CIM省去頻繁搬運資料的動作，還可支持高平行度運算，大幅節省運算時間和功耗。
最佳化軟硬整合 把大腦塞進晶片
全球其實已有不少團隊投入CIM研究，但工研院開發的此項技術獨到之處在於軟硬體雙管齊下、深度整合，實現真正可落地、長時間運作且高效能的超低功耗AI晶片，彷彿將AI大腦塞進指尖大小的晶片中。
在硬體設計方面，電路結構採用極低電壓設計，將一般1至1.2伏特的製程電壓降至0.4伏特以下，大幅降低運算功耗。但極低電壓雖然可以節省功耗，但最大問題在於操作時會產生電性偏移，如電流從原先的1安培，變成1.1或0.9安培，「如果用低電壓，但卻沒有一個抗電性偏移絕招的話，算出來的結果就可能都是錯的」工研院電光系統所研發副組長李思翰說。因此團隊在電路設計上又加上抗偏移機制，讓CIM既能在低電壓操作，又能達到穩定運算。
軟體設計方面，則針對AI運算中占比高達7至8成以上的矩陣乘加運算（MAC）進行優化，聚焦在神經網路（Neural Network；NN）層級的高強度運算，並簡化前處理流程。此外，團隊也依照應用場景進行「任務等效」，許世杰說明，適度降低資料精度，只保留最必要資訊，減少計算負擔，提高能效。例如，機器人只需判斷物體輪廓，不需識別顏色細節，在不影響辨識準確度的前提下，大幅減少運算量。
「AI模型愈精簡，硬體負擔愈小，能效自然愈高，」李思翰說明，這套AI晶片架構可根據應用靈活調整，無論是感測器偵測的小型任務，還是影像分析等高運算需求，都能依需求「加大」或「瘦身」，不僅支援微型AI核心，也可並接多個CIM加速器，彈性極高。
能效創世界紀錄 助AI應用百花齊放
團隊由20位軟硬體專家組成，不斷優化迭代，目前在1 bit與4 bit運算能效表現皆創下世界紀錄。其中，1 bit運算效能達到每瓦進行逾2萬兆次運算（20,943 TOPS/W），遠超現有平均約1,000 TOPS/W以上。事實上不少晶片都有低電壓技術，但把它導入CIM，且維持世界記錄的保持者，是工研院團隊。
除了技術表現耀眼，團隊還發表18篇國際期刊及會議論文，自2020年至2025年，連續6年入選被譽為「晶片界奧林匹克」的頂級會議「國際固態電路會議」（ISSCC），充分展現工研院在CIM技術上的領先地位。
目前此技術已與半導體、智慧感測器業者展開合作，完成低功耗的語音影像驗證，未來將先從智慧製造、能源監控與醫療穿戴等利基市場切入，協助客戶開發具市場潛力的新產品，逐步擴展應用版圖。
許世玄特別點出，無人機與機器人將是下一波應用重點，「未來家家戶戶都有機器人，每台都會有數百顆感測器，就需要同樣數量的AI晶片來處理資料。」而這些終端設備最需要的，正是「省電、靈活、可整合」的AI晶片，才能支撐龐大的即時AI運算需求。
這項技術兼具架構創新、能效突破與彈性應用三大優勢，不僅創下全球紀錄，更成功與產業接軌，具備高度落地潛力。正因為如此，團隊也榮獲2025年傑出研究金牌獎，實至名歸，為臺灣在AI晶片設計與邊緣運算領域立下重要里程碑。
