以脈沖神經(jīng)網(wǎng)絡(luò)（SNN）為代表的腦啟發(fā)神經(jīng)形態(tài)計(jì)算（neuromorphic computing）由于計(jì)算上的節(jié)能性質(zhì)在最近幾年受到了越來越多的關(guān)注 。受啟發(fā)于人腦中的生物神經(jīng)元，神經(jīng)形態(tài)計(jì)算通過模擬并行的存內(nèi)計(jì)算、基于脈沖信號(hào)的事件驅(qū)動(dòng)計(jì)算等生物特性，能夠在不同于馮諾依曼架構(gòu)的神經(jīng)形態(tài)芯片上以低功耗實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)計(jì)算。

然而，神經(jīng)網(wǎng)絡(luò)模型在持續(xù)學(xué)習(xí)新任務(wù)時(shí)通常存在對(duì)舊任務(wù)的災(zāi)難性遺忘的問題，這和人腦通過終生的連續(xù)學(xué)習(xí)（continual learning）來不斷積累知識(shí)非常不同。如何能夠通過神經(jīng)形態(tài)的計(jì)算形式解決連續(xù)學(xué)習(xí)是一個(gè)對(duì)人工智能和神經(jīng)科學(xué)都很重要的問題，也是構(gòu)建具有持續(xù)學(xué)習(xí)能力的低功耗 SNN 神經(jīng)形態(tài)計(jì)算系統(tǒng)的關(guān)鍵步驟。

此前的連續(xù)學(xué)習(xí)方法或者從已觀察到的神經(jīng)科學(xué)現(xiàn)象獲得啟發(fā)，提出如記憶重放、正則化等方法，但尚不清楚其他廣泛存在的生物法則，如赫布學(xué)習(xí)（Hebbian Learning）、橫向連接等，如何能夠系統(tǒng)性地支持連續(xù)學(xué)習(xí)；或者關(guān)注純粹的機(jī)器學(xué)習(xí)方法，例如在高維空間的正交投影以實(shí)現(xiàn)有保證的更好的知識(shí)保留 ，但需要復(fù)雜的通用計(jì)算，難以通過神經(jīng)形態(tài)的計(jì)算實(shí)現(xiàn)。如何通過神經(jīng)計(jì)算的形式更好地解決連續(xù)學(xué)習(xí)仍是一個(gè)重要的問題。

為了解決這個(gè)問題，來自北京大學(xué)林宙辰教授團(tuán)隊(duì)的研究者們提出了一種新的基于赫布學(xué)習(xí)的正交投影的連續(xù)學(xué)習(xí)方法，其通過神經(jīng)網(wǎng)絡(luò)的橫向連接以及赫布與反赫布學(xué)習(xí)，以神經(jīng)形態(tài)計(jì)算的方式提取神經(jīng)元活動(dòng)的主子空間并對(duì)突觸前神經(jīng)元的活動(dòng)跡進(jìn)行投影，實(shí)現(xiàn)了連續(xù)學(xué)習(xí)中對(duì)舊知識(shí)的保護(hù)。HLOP 首次展示了更有數(shù)學(xué)保障的正交投影的思想能夠如何在神經(jīng)元運(yùn)算中實(shí)現(xiàn)，以及橫向神經(jīng)回路和赫布學(xué)習(xí)等生物特性可能如何支持神經(jīng)計(jì)算系統(tǒng)的高級(jí)能力。論文被機(jī)器學(xué)習(xí)頂會(huì) ICLR 2024 接收。

方法介紹

正交投影方法對(duì)神經(jīng)網(wǎng)絡(luò)的每一層進(jìn)行知識(shí)保護(hù)。對(duì)兩層之間的突觸權(quán)重 W，設(shè)此前學(xué)習(xí)的任務(wù)中突觸前輸入張成一個(gè)子空間，當(dāng)根據(jù)與該子空間正交的子空間的投影矩陣 P 對(duì)梯度進(jìn)行投影時(shí)，更新后的權(quán)重滿足，即新的學(xué)習(xí)不會(huì)干擾舊任務(wù)的輸出。此前的工作采用不同的方法計(jì)算正交子空間的投影矩陣 P，如根據(jù)一個(gè)小批次的數(shù)據(jù)通過奇異值分解得到前 k 主成分矩陣 M，進(jìn)而計(jì)算，但這些方法難以通過神經(jīng)計(jì)算實(shí)現(xiàn)，且對(duì)整體主子空間的估計(jì)是有偏的。

HLOP 方法基于神經(jīng)形態(tài)的赫布學(xué)習(xí)和橫向神經(jīng)回路實(shí)現(xiàn)正交投影，如圖 1 所示。方法的主要思想是通過橫向神經(jīng)回路中的赫布學(xué)習(xí)提取當(dāng)前任務(wù)的神經(jīng)活動(dòng)的主子空間，從而使得橫向連接在后續(xù)任務(wù)中能夠進(jìn)行正交投影以連續(xù)學(xué)習(xí)。因此與常規(guī)的前向網(wǎng)絡(luò)不同，HLOP 考慮神經(jīng)網(wǎng)絡(luò)每一層將與一組子空間神經(jīng)元有循環(huán)的橫向連接，其不影響前向傳播而主要調(diào)控用于權(quán)重更新的神經(jīng)元的活動(dòng)跡。

圖 1：HLOP 方法示意圖

通過橫向連接進(jìn)行投影

注意到由于現(xiàn)有的監(jiān)督學(xué)習(xí)方法通過的方式計(jì)算權(quán)重更新，其中是誤差信號(hào)，x是突觸前神經(jīng)元的活動(dòng)跡（其定義依賴于具體 SNN 訓(xùn)練算法，如神經(jīng)元的脈沖信號(hào)或資格跡），因此對(duì)梯度的投影僅需對(duì)局部的 x 進(jìn)行投影。HLOP 通過一個(gè)具有反對(duì)稱突觸權(quán)重的循環(huán)橫向連接實(shí)現(xiàn)對(duì)活動(dòng)跡的修改，如圖 1 (b,d) 所示：橫向連接首先向子空間神經(jīng)元傳播y=Hx，然后通過循環(huán)連接傳播得到突觸后響應(yīng)，活動(dòng)跡根據(jù)響應(yīng)進(jìn)行更新。因此，只要連接權(quán)重H與主成分矩陣有相似的性質(zhì)，即可通過橫向連接進(jìn)行所需的正交投影。

通過赫布學(xué)習(xí)提取主子空間

HLOP 通過對(duì) H 進(jìn)行赫布學(xué)習(xí)的方式提取主子空間，如圖 1 (c) 所示。赫布型的學(xué)習(xí)長(zhǎng)久以來被認(rèn)為是神經(jīng)系統(tǒng)的基本學(xué)習(xí)法則，并展示了具有從流輸入中提取主成分的能力 。具體而言，推廣的 Oja 法則以的方式更新權(quán)重，權(quán)重將收斂至一個(gè)主導(dǎo)的主子空間。

HLOP 同樣通過循環(huán)的橫向連接實(shí)現(xiàn)該赫布學(xué)習(xí)。循環(huán)連接得到y(tǒng)=Hx和突觸后響應(yīng)，連接權(quán)重將根據(jù)兩階段赫布學(xué)習(xí)進(jìn)行更新，而反對(duì)稱權(quán)重分別對(duì)應(yīng)了赫布與反赫布學(xué)習(xí)。進(jìn)一步針對(duì)在已有子空間的基礎(chǔ)上學(xué)習(xí)新的子空間神經(jīng)元和權(quán)重 H' 的情況，僅需根據(jù)突觸前活動(dòng)和整合的突觸后響應(yīng)更新，如圖 1 (c) 所示。

赫布學(xué)習(xí)能夠從流式輸入的大量數(shù)據(jù)中無偏地提取主子空間，因此相比此前的正交投影方法，HLOP 也能更好地構(gòu)建主子空間，得到更好的結(jié)果。

圖 2：HLOP 與 SNN 在線訓(xùn)練算法結(jié)合示意圖

與 SNN 訓(xùn)練相結(jié)合

HLOP 方法主要通過橫向連接修改突觸前神經(jīng)元的活動(dòng)跡，因此可以與各種基于突觸前神經(jīng)元活動(dòng)跡的 SNN 訓(xùn)練算法靈活的結(jié)合，如基于脈沖編碼表示的方法、隨時(shí)間反向傳播與替代梯度方法、隨時(shí)間在線訓(xùn)練方法等。圖 2 展示了 HLOP 與一類 SNN 隨時(shí)間在線訓(xùn)練算法 結(jié)合的示意圖，這種訓(xùn)練算法更契合生物和神經(jīng)形態(tài)硬件的在線學(xué)習(xí)性質(zhì)。在該結(jié)合中，HLOP 僅需通過額外考慮橫向回路中的突觸后響應(yīng)以在線修改神經(jīng)元的資格跡，這種簡(jiǎn)易的結(jié)合方式可以為在芯片上進(jìn)行連續(xù)學(xué)習(xí)提供基礎(chǔ)。

原始的 HLOP 在橫向神經(jīng)回路中主要考慮線性神經(jīng)元，這對(duì)于部分支持混合神經(jīng)網(wǎng)絡(luò)的神經(jīng)形態(tài)硬件 而言可以支持。針對(duì)更廣泛的情況，HLOP 進(jìn)一步考慮在橫向連接中采用脈沖神經(jīng)元，如圖 2 (d) 所示，其通過神經(jīng)元發(fā)放高頻的突發(fā)脈沖序列（burst）并對(duì)此進(jìn)行頻率編碼以表示信息。

實(shí)驗(yàn)結(jié)果

論文在多種設(shè)定的連續(xù)學(xué)習(xí)實(shí)驗(yàn)下驗(yàn)證了 HLOP 方法的有效性，考慮 ACC 和 BWT 兩個(gè)指標(biāo)，分別表示連續(xù)學(xué)習(xí)任務(wù)的平均正確率和舊任務(wù)的平均遺忘率。

首先，HLOP 方法可靈活地適用于不同的 SNN 訓(xùn)練算法，如下圖所示，HLOP 一致地解決了連續(xù)學(xué)習(xí)中的災(zāi)難性遺忘。

然后，HLOP 方法在任務(wù)增量和域增量的設(shè)定、不同數(shù)據(jù)集、不同網(wǎng)絡(luò)結(jié)構(gòu)、以及不同誤差傳播算法（反向傳播及生物可行性更高的反饋對(duì)齊和符號(hào)對(duì)稱方法）的設(shè)定下均一致地解決了災(zāi)難性遺忘，如下圖所示。

同時(shí)，HLOP 在橫向連接中采用脈沖神經(jīng)元的設(shè)定下仍有效地解決了遺忘的問題，如下圖所示。

最后，與其他代表性的連續(xù)學(xué)習(xí)方法相比，HLOP 在各數(shù)據(jù)集上都一致地超越了此前的方法，如下圖所示。而且，HLOP 是基于神經(jīng)形態(tài)計(jì)算的形式，對(duì)神經(jīng)形態(tài)硬件更友好，這展示了構(gòu)建高性能的連續(xù)學(xué)習(xí)神經(jīng)形態(tài)計(jì)算系統(tǒng)的潛力。

總結(jié)

HLOP 作為一種神經(jīng)形態(tài)計(jì)算形式的連續(xù)學(xué)習(xí)方法，展示了橫向連接和赫布學(xué)習(xí)能夠通過提取神經(jīng)活動(dòng)主子空間并修改突觸前神經(jīng)元的活動(dòng)跡以系統(tǒng)性地提供強(qiáng)大的連續(xù)學(xué)習(xí)能力。這闡明了一些生物法則可能如何支持神經(jīng)形態(tài)計(jì)算系統(tǒng)的高級(jí)能力，也首次展示了正交投影的思想能夠如何在神經(jīng)元系統(tǒng)中實(shí)現(xiàn)。HLOP 可靈活地與任意基于突觸前神經(jīng)元活動(dòng)跡的訓(xùn)練算法相結(jié)合，為構(gòu)建芯片上連續(xù)學(xué)習(xí)的低功耗 SNN 神經(jīng)形態(tài)計(jì)算系統(tǒng)提供了堅(jiān)實(shí)的基礎(chǔ)。