久久久91-久久久91精品国产一区二区-久久久91精品国产一区二区三区-久久久999国产精品-久久久999久久久精品

　近日，中國科學(xué)院自動化所腦圖譜與類腦智能實驗室李國齊研究員與西安交通大學(xué)趙廣社教授合作在人工智能頂級國際期刊IEEE Transactions on Pattern Analysis and Machine Intelligence（TPAMI）上發(fā)表了一篇題為“Attention Spiking Neural Networks”的研究。這項工作將注意力機制融入百萬級規(guī)模脈沖神經(jīng)網(wǎng)絡(luò)，在ImageNet-1K數(shù)據(jù)集上，首次取得了與傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)相當(dāng)?shù)男阅埽依碚撃苄橥冉Y(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)的31.8倍。本方法在顯著提升任務(wù)性能的同時能夠大幅降低網(wǎng)絡(luò)能量消耗，為低功耗神經(jīng)形態(tài)系統(tǒng)的發(fā)展提供了新思路。

　　以傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)近年來在一些任務(wù)上展現(xiàn)出接近或超越人類的能力。在取得這些成就的同時，人類也付出了海量的能耗代價。而人腦能夠以極低地能耗高效完成相同或更復(fù)雜的任務(wù)。如何使得機器智能像人腦一樣高效工作是研究者們孜孜以求的目標?；诿}沖神經(jīng)網(wǎng)絡(luò)的神經(jīng)形態(tài)計算提供了一種極具吸引力的傳統(tǒng)人工智能的低能耗替代方案。脈沖神經(jīng)元模擬了生物神經(jīng)元中的復(fù)雜時空動態(tài)，其表達能力在理論上強于現(xiàn)有的人工神經(jīng)元。同時，脈沖神經(jīng)元繼承了生物神經(jīng)元中的脈沖通信方式，這也是脈沖神經(jīng)網(wǎng)絡(luò)實現(xiàn)低功耗的關(guān)鍵。一方面，在神經(jīng)形態(tài)系統(tǒng)中只需要執(zhí)行低能耗的突觸加法；另一方面，事件驅(qū)動特性使得只有脈沖神經(jīng)元發(fā)放脈沖時神經(jīng)形態(tài)系統(tǒng)才會觸發(fā)計算。因此，如何以低脈沖發(fā)放率實現(xiàn)高任務(wù)性能是神經(jīng)形態(tài)計算中的一個重要問題。人腦可以自然而有效地在復(fù)雜場景中找到重要信息，這被稱為注意力機制。注意力機制已被廣泛應(yīng)用于深度學(xué)習(xí)中，并取得了顯著的效果。然而在神經(jīng)形態(tài)計算領(lǐng)域的應(yīng)用還極具挑戰(zhàn)性。 

　　為了將注意力機制融入脈沖神經(jīng)網(wǎng)絡(luò)中，有三個基礎(chǔ)問題需要考慮。首先，脈沖神經(jīng)網(wǎng)絡(luò)高能效的關(guān)鍵是以脈沖通信為基礎(chǔ)的事件驅(qū)動特性，注意力機制不能破壞這種特性。其次，脈沖神經(jīng)網(wǎng)絡(luò)應(yīng)用場景廣泛，需要有多樣性的設(shè)計以保證其在各種場景中的有效性。最后，二進制脈沖通信使得深度脈沖神經(jīng)網(wǎng)絡(luò)容易出現(xiàn)由梯度消失或爆炸帶來的性能退化問題，注意力機制的加入至少不應(yīng)加劇退化問題。 

如圖1所示，人腦中注意力的功能實現(xiàn)主要體現(xiàn)在對不同腦區(qū)或神經(jīng)元脈沖發(fā)放的調(diào)節(jié)。受此啟發(fā)，該研究通過注意力機制來優(yōu)化脈沖神經(jīng)網(wǎng)絡(luò)內(nèi)部的膜電勢分布，關(guān)注重要特征并抑制不必要的特征，進而起到調(diào)節(jié)脈沖發(fā)放的作用。網(wǎng)絡(luò)架構(gòu)如圖2所示。

　進一步地，為了使注意力脈沖神經(jīng)網(wǎng)絡(luò)適應(yīng)于各種應(yīng)用場景，如圖3所示，該研究融合了時間、通道和空間三個維度，以學(xué)習(xí)“何時”、“什么”、“哪里”是重要的。 

　　研究團隊在基于事件的動作識別數(shù)據(jù)集以及靜態(tài)圖像分類數(shù)據(jù)集ImageNet-1K上對提出的多維度注意力脈沖神經(jīng)網(wǎng)絡(luò)進行了實驗。實驗表明注意力模塊的加入不僅幫助脈沖神經(jīng)網(wǎng)絡(luò)在性能上有顯著提升，網(wǎng)絡(luò)中的脈沖數(shù)量也能大大降低，從而降低模型能耗。在DVS128 Gait數(shù)據(jù)集上，多維度注意力模塊能夠使得原始脈沖神經(jīng)網(wǎng)絡(luò)降低81.6%的脈沖發(fā)放，同時帶來4.7%的性能提升（表1）。在ImageNet-1K數(shù)據(jù)集上，注意力脈沖神經(jīng)網(wǎng)絡(luò)首次取得了與傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)相當(dāng)?shù)男阅?，且理論能效為同等結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)的31.8倍（表2）。 

　該研究還提出了一種新的可視化方法用來分析為什么所提出的注意力模塊能夠在降低脈沖發(fā)放的同時提升網(wǎng)絡(luò)性能。如圖4、圖5所示，加入了注意力機制的脈沖神經(jīng)網(wǎng)絡(luò)在專注重要信息的同時，能夠抑制不重要的背景噪聲信息（特征圖中的每個像素點代表一個神經(jīng)元發(fā)放率。顏色越紅代表發(fā)放率越大；越藍代表發(fā)放率越小）。而在所有的特征圖中，噪聲特征圖或神經(jīng)元中的脈沖發(fā)放率都很高。因此抑制噪聲信息能夠顯著降低網(wǎng)絡(luò)中的脈沖發(fā)放。 

　進一步，該研究通過塊動態(tài)等距理論證明將所提出的注意力模塊加入到深度脈沖神經(jīng)網(wǎng)絡(luò)中仍然能實現(xiàn)動態(tài)等距。也就是，注意力模塊在深度脈沖神經(jīng)網(wǎng)絡(luò)中不會引起性能退化。 

　　綜上，本研究工作探索了如何在脈沖神經(jīng)網(wǎng)絡(luò)中使用注意力機制，發(fā)現(xiàn)通過將注意力機制作為輔助模塊插入到脈沖神經(jīng)網(wǎng)絡(luò)中，能夠在大幅度降低網(wǎng)絡(luò)脈沖發(fā)放的同時顯著提升任務(wù)性能。通過可視化原始和注意力脈沖神經(jīng)網(wǎng)絡(luò)的脈沖響應(yīng)可知，注意力機制能幫助原始網(wǎng)絡(luò)在專注重要信息的同時抑制噪聲信息，而噪聲通道或神經(jīng)元中包含了大量的脈沖。因此，在基于脈沖神經(jīng)網(wǎng)絡(luò)的神經(jīng)形態(tài)計算中，能夠?qū)崿F(xiàn)像人腦一樣以更低的能耗獲得更好的性能。 

　　論文第一作者為西安交大博士生姚滿，通訊作者為中國科學(xué)院自動化所李國齊研究員。中國科學(xué)院自動化所徐波研究員、西安交通大學(xué)趙廣社教授、北京大學(xué)田永鴻教授和清華大學(xué)碩士生張恒煜、博士生胡一凡、鄧磊助理教授是論文共同作者。相關(guān)工作得到了北京市杰出青年基金、國家自然科學(xué)基金委重點項目、區(qū)域創(chuàng)新聯(lián)合重點項目等基金項目的支持。 

來源：中國科學(xué)院自動化研究所