Friedrich Miescher 生物醫(yī)學研究所和海德堡大學的研究人員，于 2022 年 1 月發(fā)表在《PNAS》上的一篇題為「Surrogate gradients for analog neuromorphic computing」的論文揭示了繞過這個問題的方法。 該團隊表明，一種稱為尖峰神經(jīng)網(wǎng)絡的人工智能算法——它使用大腦的d特通信信號，稱為尖峰——可以與芯片一起學習如何補償設備不匹配。這篇論文是朝著使用 AI 進行模擬神經(jīng)形態(tài)計算邁出的重要一步。

論文鏈接：https://www.pnas.org/doi/10.1073/pnas.2109194119

「令人驚奇的是，它運行得非常好！」荷蘭數(shù)學和計算機科學研究所 CWI 的脈沖神經(jīng)網(wǎng)絡專家 Sander Bohte 說， 「這是一項相當大的成就，可能是更多模擬神經(jīng)形態(tài)系統(tǒng)的藍圖�！�

模擬計算對基于大腦的計算的重要性是微妙的。數(shù)字計算可以有效地表示大腦尖峰信號的一個二進制，即一種像閃電一樣穿過神經(jīng)元的電脈沖。與二進制數(shù)字信號一樣，要么發(fā)出尖峰信號，要么不發(fā)出尖峰信號。但是隨著時間的推移，尖峰是連續(xù)發(fā)送的——這是一個模擬信號——我們的神經(jīng)元先決定發(fā)出尖峰的方式也是連續(xù)的，這取決于細胞內(nèi)隨時間變化的電壓。（與細胞外電壓相比，當電壓達到特定閾值時，神經(jīng)元會發(fā)出尖峰信號。）

「在類比中，大腦核心計算的巧妙之處便在于此。模擬大腦的這一關(guān)鍵方面是神經(jīng)形態(tài)計算的主要驅(qū)動力之一�！固K黎世大學和蘇黎世聯(lián)邦理工學院的神經(jīng)形態(tài)工程研究員 Charlotte Frenkel 說。

2011 年，海德堡大學的一組研究人員開始開發(fā)一種兼具模擬和數(shù)字功能的神經(jīng)形態(tài)芯片，以對大腦進行密切建模以進行神經(jīng)科學實驗。現(xiàn)在由 Schemmel L導的團隊推出了新版本的芯片，稱為 BrainScaleS-2。芯片上的每個模擬神經(jīng)元都可以模仿腦細胞的輸入和輸出電流和電壓變化。

「你真的擁有了一個不斷交換信息的動態(tài)系統(tǒng)。」Schemmel 說，而且由于材料具有不同的電氣特性，芯片傳輸信息的速度比我們的大腦快 1000 倍。

但是由于模擬神經(jīng)元的特性變化如此之小——設備不匹配問題——電壓和電流水平也因神經(jīng)元而異。算法無法處理這個問題，因為它們是在具有完全相同數(shù)字神經(jīng)元的計算機上訓練的，突然它們在芯片上性能直線下降。

新研究展示了前進的方向。通過將芯片包含在訓練過程中，作者表明脈沖神經(jīng)網(wǎng)絡可以學習如何校正 BrainScaleS-2 芯片上的不同電壓�！高@種訓練設置是D一個令人信服的證據(jù)，證明可變性不僅可以[補償]，而且可能被利用�！笷renkel 說。

為了解決設備不匹配問題，該團隊將一種允許芯片與計算機對話的方法與一種稱為代理梯度的新學習方法相結(jié)合，該方法由 Zenke 共同開發(fā)，專門用于脈沖神經(jīng)網(wǎng)絡。它通過改變神經(jīng)元之間的連接，來小化神經(jīng)網(wǎng)絡在任務中產(chǎn)生的錯誤數(shù)量。（這類似于非尖峰神經(jīng)網(wǎng)絡使用的方法，稱為反向傳播。）

實際上，替代梯度方法能夠在計算機訓練期間糾正芯片的缺陷。先，脈沖神經(jīng)網(wǎng)絡使用芯片上模擬神經(jīng)元的變化電壓執(zhí)行一項簡單的任務，將電壓記錄發(fā)送回計算機。在那里，該算法自動學習如何好地改變其神經(jīng)元之間的連接，以仍然與模擬神經(jīng)元很好地配合，并在學習的同時不斷地在芯片上更新它們。然后，當訓練完成時，脈沖神經(jīng)網(wǎng)絡在芯片上執(zhí)行任務。

研究人員報告說，他們的網(wǎng)絡在語音和視覺任務上達到了與在計算機上執(zhí)行任務的DJ尖峰神經(jīng)網(wǎng)絡相同的準確度水平。換句話說，該算法準確地了解了克服設備不匹配問題需要做出哪些改變。

蘇塞克斯大學的計算神經(jīng)科學家 Thomas Nowotny 說：「他們用這個系統(tǒng)解決真正問題所取得的性能是一項巨大的成就�！� 而且，正如預期的那樣，它們的能源效率令人印象深刻；作者表示，在芯片上運行他們的算法所消耗的能量比標準處理器所需的能量少 1000 倍。

然而，F(xiàn)renkel 指出，雖然到目前為止能耗是個好消息，但神經(jīng)形態(tài)芯片仍需要通過針對類似語音和視覺識別任務進行優(yōu)化的硬件來證明自己，而不是標準處理器。Nowotny 警告說，這種方法可能難以擴展到大型實際任務，因為它仍然需要在計算機和芯片之間來回穿梭數(shù)據(jù)。

長期目標是讓神經(jīng)網(wǎng)絡從頭到尾在神經(jīng)形態(tài)芯片上訓練和運行，根本不需要計算機。但這需要構(gòu)建新一代芯片，這需要數(shù)年時間，Nowotny 說。

目前，Zenke 和 Schemmel 的團隊已經(jīng)證明，脈沖神經(jīng)網(wǎng)絡算法可以處理神經(jīng)形態(tài)硬件上模擬神經(jīng)元之間的微小變化。「您可以依靠 60 或 70 年的數(shù)字計算經(jīng)驗和軟件歷史�！筍chemmel 說，「對于這種模擬計算，我們需要自己做所有事情�！�