關鍵詞：類腦計算，空間嵌入，小世界網路，模組化
論文題目 ： Spatially embedded recurrent neural networks reveal widespread links between structural and functional neuroscience findings 論文期刊：Nature Machine Intelligence 斑圖地址：https://pattern.swarma.org/paper/8f0edd32-87f8-11ee-bc79-0242ac17000e 論文地址：https://www.nature.com/articles/s42256-023-00748-9
生物大腦網路受到資源的限制。因此，腦網路必須克服在其物理空間內生長和維持網路的新陳代謝成本，同時進行所需的資訊處理。為了觀察這些過程的效果，這項研究引入空間嵌入遞迴神經網路（seRNN） 。seRNNs 在三維歐幾里得空間中學習與任務相關的基本推理，在這個空間中，組成神經元的通訊受到稀疏連線組的限制。
研究發現，seRNNs 在結構和功能特徵上趨於一致，而這些特徵在靈長類動物大腦皮層中也很常見。具體來說，它們趨同於使用模組化的小世界網路來解決推理問題，在這種網路中，功能相似的單元在空間上進行自發配置，以利用能量高效的混合選擇編碼。由於這些特徵是一致出現的，seRNNs 揭示了許多常見的大腦結構和功能模式是如何緊密地交織在一起，可作為神經科學和人工智慧的橋樑。
圖1：a）在人工神經網路訓練過程中，透過加入正則化項，使模型訓練後變的稀疏，模組化。b）每個神經元處在一個設定的三維座標上，高斯距離更長的神經元連線具備更長的懲罰項。c）將 RNNs 嵌入拓撲空間，引導剪枝過程實現高效的網路內交流，d）加入正則項後，網路會激勵短連線的產生，不利於長連線的產生。e）對比加入和不加入空間正則化機制的網路。f）網路要解決的一步推理任務，從二十步開始，目標出現在網格上的四個位置之一：上/下、左/右（淺藍色表示）。隨後是十步延遲，在此期間必須記住目標位置。然後在 20 個步驟中提供兩個選擇選項。利用先前的目標資訊，代理必須選擇離目標更近的選項。
圖2：經過L1正則化與seRNN經過訓練的預測精度相當，L1的總權重更低，空間在訓練3輪後下降到最低，其模組化程度在訓練6輪後顯著提高，seRNN訓練好的網路結構如e所示
圖3：訓練後的seRNN具有和腦類似的功能分割槽，一部分用以識別顏色，一部分用以識別方位，對於據對策和目標的儲存，也存在對應的神經元中
圖4：訓練完成的seRNN相比基線情況，做決策時啟用的神經元更少，因此能耗更低
圖5：在100次seRNN的訓練過程中，訓練結果處在即足夠準確，又具備模組化和小世界網路性質的最優權衡處
大腦之所以具備高效、靈活地執行各種認知操作的計算能力，是由於大腦中模組化小世界結構的稀疏連通性，可透過區域性連線生成具有空間聚集的功能單元，可以混合模式執行編碼選擇，從而最大限度地減少能量消耗。這些複雜的特徵至少可以部分歸因於影響幾乎所有大腦網路的三種力量：在 （任務） 環境中最佳化功能表現、網路的代謝/結構成本，以及網路內部的訊號交流。透過seRNN加入空間正則化後的模擬，可復現上述特徵，為計算神經科學提供可聯合研究結構和功能的重要工具。
編譯｜郭瑞東
NeuroAI讀書會
詳情請見：
1.
2.
3.
4.
5.
6.
