中國科學家提出具有內生復雜性的類腦計算方法
中國網(wǎng)/中國發(fā)展門戶網(wǎng)訊 構建更加通用的人工智能,讓模型具有更加廣泛和通用的認知能力,是當前人工智能(AI)領域發(fā)展的重要目標。目前流行的大模型路徑是基于Scaling Law(尺度定律)去構建更大、更深和更寬的神經(jīng)網(wǎng)絡,可稱之為“基于外生復雜性”的通用智能實現(xiàn)方法。這一路徑面臨著計算資源及能源消耗難以為繼、可解釋性不足等問題。中國科學院自動化研究所李國齊、徐波研究團隊聯(lián)合清華大學、北京大學等借鑒大腦神經(jīng)元復雜動力學特性,提出了“基于內生復雜性”的類腦神經(jīng)元模型構建方法,改善了傳統(tǒng)模型通過向外拓展規(guī)模帶來的計算資源消耗問題,為有效利用神經(jīng)科學發(fā)展人工智能提供了示例。
本研究首先展示了脈沖神經(jīng)網(wǎng)絡神經(jīng)元LIF(Leaky Integrate and Fire)模型和HH(Hodgkin-Huxley)模型在動力學特性上存在等效性,進一步從理論上證明了HH神經(jīng)元可以和四個具有特定連接結構的時變參數(shù)LIF神經(jīng)元(tv-LIF)動力學特性等效。基于這種等效性,團隊通過設計微架構提升計算單元的內生復雜性,使HH網(wǎng)絡模型能夠模擬更大規(guī)模LIF網(wǎng)絡模型的動力學特性,在更小的網(wǎng)絡架構上實現(xiàn)與之相似的計算功能。進一步,團隊將由四個tv-LIF神經(jīng)元構建的“HH模型”(tv-LIF2HH)簡化為s-LIF2HH模型,通過仿真實驗驗證了這種簡化模型在捕捉復雜動力學行為方面的有效性。
實驗結果表明HH網(wǎng)絡模型和s-LIF2HH網(wǎng)絡模型在表示能力和魯棒性上具有相似的性能,驗證了內生復雜性模型在處理復雜任務時的有效性和可靠性。同時,研究發(fā)現(xiàn)HH網(wǎng)絡模型在計算資源消耗上更為高效,顯著減少了內存和計算時間的使用,從而提高了整體的運算效率。研究團隊通過信息瓶頸理論對上述研究結果進行了解釋。
本研究為將神經(jīng)科學的復雜動力學特性融入人工智能提供了新的方法和理論支持,為實際應用中的AI模型優(yōu)化和性能提升提供了可行的解決方案。目前,研究團隊已開展對更大規(guī)模HH網(wǎng)絡,以及具備更大內生復雜性的多分支多房室神經(jīng)元的研究,有望進一步提升大模型計算效率與任務處理能力,實現(xiàn)在實際應用場景中的快速落地。
該工作發(fā)表在《Nature Computational Science》,共同通訊作者是中國科學院自動化所李國齊研究員、徐波研究員,北京大學田永鴻教授。共同一作是清華大學錢學森班的本科生何林軒(自動化所實習生),數(shù)理基科班本科生徐蘊輝(自動化所實習生),清華大學精儀系博士生何煒華和林逸晗。