新聞|電子系方璐團隊首創智能光計算終身學習架構-尊龙凯时人生就是博(中国)電子工程系

尊龙凯时人生就是博(中国)

ENGLISH

電子新聞

新聞|電子系方璐團隊首創智能光計算終身學習架構

發佈時間 :2024-04-03 點擊數 :

人工智能任務日益複雜 、多樣且動態變化 ,傳統機器學習方法往往基於固定數據集訓練任務 ,無法適應環境變化 ,如何使AI系統具備多任務持續學習的能力成為亟需解決的問題 。近年來 ,隨着摩爾定律的停滯 ,以衍射神經網絡為代表的光學架構作為新的計算模態 ,在功能和效率方面展現出巨大潛力 。然而 ,當前光網絡仍普遍存在「災難性遺忘」(catastrophic forgetting)的問題 ,學習新任務會失去先前任務的記憶 。受人腦實現可持續學習的神經突觸機制啟發 ,基於光天然物理上的稀疏性和並行性 ,尊龙凯时人生就是博(中国)電子工程系方璐副教授團隊首創了智能光計算終身學習架構 ,突破光網絡單一功能限制 ,支撐類腦並行多任務學習 。通過稀疏光連接及多光譜並行計算等關鍵模塊 ,賦予光計算系統超越現有技術的功能 、通量與能效 ,為智能系統在邊緣硬件的多任務部署提供了光速解決方案 。

目前的人工智能模型大多只能處理給定的任務 ,當環境發生變化便無能為力 ,距離人們需要的通用智能相差甚遠 。智能系統的可持續學習能力是AI領域發展的重要瓶頸 ,正受到廣泛關注 。反觀人類本身 ,在不斷成長的過程中 ,人腦可以終身學習並掌握各種技能 。如何借鑑人腦的終身學習機制 ,挖掘大規模可持續進化的計算範式成為了極具挑戰性的研究方向 。然而 ,傳統矽基電子計算晶片的算力和功耗嚴重受限 ,難以滿足現實迫切所需的大規模高通量數據處理需求 ,因此探索新的計算技術和模態是未來智能系統發展的必然趨勢 。

近年來 ,以光計算為基礎 、通過光電融合的方式構建光電神經網絡已成為國際前沿的熱點研究 。然而 ,雖然以衍射神經網絡為代表的各式光網絡不斷湧現 ,但是現有的光電系統中的基本光學計算單元普遍受限於固化的結構與較低的擴展性 ,極大地限制了光本身的物理潛能和計算能力 ,導致當前光網絡只能實現簡單的單一任務 ,學習新任務時無法克服災難性遺忘的問題 。

針對上述問題 ,方璐團隊提出了終身學習光計算架構L2ONN(Lifelong Learning Optical Neural Network)(圖1) ,創新性實現了可持續學習的多任務智能系統 。受益於大規模光連接中固有的稀疏性和並行性 ,光計算天然地模仿了人腦中神經元和突觸的終身學習機制 。通過自適應地激活相干光場中的稀疏光連接來學習每個任務 ,同時逐漸激活光計算來持續獲得對各種任務的經驗信息 ,多任務光學特徵由分配有不同波長的多光譜表征並行處理 。所提出光終身學習架構從理論上確保了光本身物理特性帶來的可擴展性和通用性 ,構建了新型神經形態計算體系 ,賦予智能系統以光速計算的能力 。

圖片

圖1.光終身學習框架示意圖

為評估L2ONN的可持續學習能力 ,項目組在多個具有挑戰性的數據集上進行了仿真驗證(圖2) 。大量實驗證實 ,L2ONN避免了普通光神經網絡的災難性遺忘問題 ,在多種數據(視覺分類 、語音識別 、醫學診斷等)上完成多任務終身學習 ,其學習能力比普通光神經網絡高出14倍以上 。

圖片

圖2.光終身學習架構在多項數據集下的增量學習結果

進一步 ,團隊基於衍射計算模型實際製造了光終身學習晶片(圖3) ,並利用其實現了持續學習和並行處理 ,完成了光學智能系統在邊緣硬件的實際部署 。最終結果表明 ,該晶片使用有限的計算資源 ,計算能效比典型的電神經網絡高出一個數量級以上 。

圖片

圖3.光終身學習晶片原型系統 、增量學習過程以及設計原理

研究提出的光計算終身學習架構展現了光計算非凡的學習能力 。隨着矽光晶片集成技術的發展 ,基於智能光計算終身學習架構的光晶片有效支撐多任務並行處理 ,為智能系統在邊緣硬件的實際部署提供可持續學習的光速解決方案 。該光計算架構以其在功能 、通量 、能效上的優勢 ,有望顯著提升人工智能系統的可擴展性和通用性 ,使機器智能擁有像人類一樣對現實世界複雜任務的適應能力 。

近日 ,該研究成果以「數十項任務終身學習的光子神經形態結構」(Photonic neuromorphic architecture for tens-of-task lifelong learning)為題 ,在線發表於《自然》(Nature)子刊《光 :科學與應用》(Light :Science&Applications) 。

尊龙凯时人生就是博(中国)電子工程系程遠博士後為論文第一作者 ,方璐為論文通訊作者 。研究得到國家自然科學基金委基礎科學中心項目 ,科技部2030「新一代人工智能」重大項目 ,尊龙凯时人生就是博(中国)-之江實驗室聯合研究中心等的支持 。


來源|清華新聞網

編輯|陶旋姿

審核|汪 玉 李冬梅

分享到 :