時時頭條
  • 娛樂
  • 體育
  • 財經
  • 科技
  • 旅遊
  • 軍事
  • 育兒
  • 時尚
  • 遊戲
  • 歷史
  1. 首頁
  2. 科技

2024諾貝爾物理獎是否出現了重大遺漏?

2024-12-05 07:22:46

12.2

知識分子

The Intellectual

圖源:pixabay

撰文 |吳思

這篇短文不是要討論今年諾貝爾物理學獎是否不恰當地授予了人工智慧專家,而是要澄清授獎物件是否出現了重大遺漏。

John Hopfield和Geoffrey Hinton兩位教授獲得了今年的諾貝爾物理學獎,其中Hopfield教授的獲獎原因是因為發展了著名的Hopfield吸引子網路模型。由於我長期在做有點冷門的吸引子網路的理論研究(見公眾號文章【學術思想】連續吸引子神經網路:神經資訊表達的正則化網路模型),因此不少同事祝賀我,有種終於“苦盡甘來”,可以“與榮有焉”了的感覺。但我內心卻是五味雜陳,因為我深知道Hopfield模型背後真實的故事。有朋友鼓勵我說,為計算神經科學領域外的讀者以及年輕學者計,我應該寫下這段公案,給歷史留一段記錄。

簡單說就是,日本著名科學家Shun-ichi Amari(甘利俊一)教授在1972年就已經提出了Hopfield教授在1982年發表的Hopfield模型,前者比後者整整早了十年。兩個數學模型幾乎一模一樣,而且Amari教授的文章還做了更深入細緻的數學分析。圖1簡單對比了兩個模型的最關鍵相同之處,包括神經元的閾值動力學(threshold dynamics)和神經元連線的Hebbian 學習律。基於該數學模型,兩篇文章都分析了網路動力學的穩定狀態,即吸引子,並由此引申到了大腦的聯想式記憶。讀者可以仔細對比Amari1972年[1]和Hopfield 1982年[2]的文章。有科研經驗的讀者都知道,在模型如此相似的情況下,有了Amari 1972年的文章,Hopfield 1982年的文章其實很難能發表在重要雜誌上了。當然在當時資訊條件下,有可能Hopfield教授並不知道Amari教授的工作。

圖1:Amari原始模型和Hopfield原始模型的對比。兩者的數學形式幾乎是一模一樣的,都採用了神經元的閾值動力學和神經元之間連線的Hebbian學習律。

在計算神經科學及相關領域,Amari教授比Hopfield教授早十年提出Hopfield模型並不是一個鮮為人知的秘密,而是一個很多人都知道的事實。計算神經科學領域的著名學者Haim Sompolinsky教授(2023年Brain Prize大獎的獲得者)在一篇文章中曾評論到:“雖然Amari更早提出了一樣的模型,但因為Hopfield貢獻很大,所以我們叫它Hopfield模型“,英文參見[3]。計算神經科學領域另一位已過世的著名學者Daniel Amit(《Modelling Brain Function: The World of Attractor Neural Networks》書的作者)曾經當面給Amari教授道歉,表示這是學術界的一個錯誤,該模型應該叫Amari-Hopfield模型,並贈予了Amari教授一條紅色領帶作為歉意。

誠如Amit教授所言,在當年資訊遠遠落後於今天的時代,即便是Hopfield教授獨立發展了該模型,出於科學慣例,這個模型也應該叫Amari-Hopfield模型更合適。但讓人費解的是,諾貝爾獎評審委員會在明知Amari教授早期工作的情況下(諾獎的科學背景介紹還列出了Amari1972年的文章),依然忽視了Amari教授的貢獻,實在是讓人難以理解。

需要申明的是,我介紹這段歷史並不全因為我是Amari教授的弟子,有為老師發聲之嫌。其實在外網的一些論壇上,對此爭論更激烈。著名的德國科學家Jurgen Schmidhurber教授(LSTM模型的發明人)就在一個有悠久歷史的郵件群connectionist裡為Amari教授的不公發聲。摘錄部分如下:

圖2:Schmidhurber教授對Amari模型早於Hopfield工作10年的評論。

可能有讀者知道,Schmidhurber教授在其它場合也為另一段公案發聲,其涉及到了Amari教授在人工神經網路最基礎的訓練演算法-反傳演算法(BackProp)上的重要貢獻,我這裡也介紹一下。簡單說就是,Amari教授在1967年就提出了stochastic gradient descent(SGD)(但由於當時計算機算力受限,只在淺層神經網路上做了演示)[4],比Hinton教授等人提出的有相似思想的BackProp(1986)[5]早了19年。當然我本人特別崇敬Hinton教授,尤其佩服他鍥而不捨地把基於深度學習的人工智慧技術推廣到了今天的高度,但在BackProp的優先權上還是應該一碼歸一碼。有好事者在connectionist群裡釋出了一張Hinton教授在1997年ICNN會議上介紹BackProp的照片,演講題目是“What’s wrong with Backprop?”, 其中Hinton教授本人寫下了“Amari thought it first”(見下)。

圖3:Hinton教授在ICNN1997會議的演講稿,其中寫下了Amari第一個想到BackProp。

在諾貝爾物理學釋出之後,Amari教授很快就在日本理化學所的官網上發表了公開宣告(見圖4),其間隻字未提自己的不公,反而真誠地祝賀了兩位獲獎者,體現了Amari教授一貫淡泊名利、與世無爭的風格。但作為知情者,我認為不能因為Amari教授的高風亮節,我們就預設這種行為是無所謂的,其後果只會破壞科學共同體賴以健康發展的基石。

Amari教授一生在科學上建樹太多,有興趣的讀者可以參見Amari教授回顧其在計算神經科學領域半個世紀工作的文章[3]。除了上面提到的吸引子網路、BackProp,還有一項在我看來理論上更漂亮的工作是資訊幾何(information geometry)。該工作用微分幾何方法分析了資料驅動的模型學習的本質,是對模型學習機理最深刻的認識。因此,我雖心有悵然,但我堅信,沒有諾獎或圖靈獎的加持,Amari教授在科學上的巨大貢獻也一樣流芳百世!

圖4:Amari教授在諾獎結果公佈後,很快就在日本理化學研究所官網上發表的公開宣告(中文翻譯稿)。

ZHISHI

後記

最後我也向感興趣的讀者簡單介紹一下吸引子網路的後續發展。在AI領域,Amari-Hopfield模型近年來被推廣為了modern Hopfield模型[6]。在神經科學領域,Amari-Hopfield模型逐漸被其它生物學更合理的吸引子模型代替。當前最熱的吸引子網路模型是連續吸引子網路(CANN)(參見微信公眾號介紹文章【學術思想】連續吸引子神經網路:神經資訊表達的正則化網路模型)。特別值得指出的是,Amari教授在1977年就發表一篇純粹基於數學性質考慮的CANN模型[7],遠遠走在了實驗證據的前面[8-9],也是領域內的一篇經典工作。作者在Amari教授實驗室做博士後期間,和Amari教授一起發展了一個理論可解的CANN模型[10],並在隨後的二十多年裡圍繞該模型開展研究。近年來,作者課題組進一步推廣了該模型,在動力學方程中引入了適應性反應(adaptation),以解決吸引子網路面臨的一個根本性難題:一方面,吸引子使得大腦可以穩定表徵資訊;但另一方面,其也不可避免地帶來了副作用,即一旦神經系統進入了一個吸引子狀態,就很難脫離該狀態,使得大腦難以實現資訊的快速迭代或搜尋。透過在吸引子網路中引入時程相對較慢的適應性動力學(其可以被神經系統中廣泛存在的副反饋作用實現),就能使神經系統既可以穩定地表徵信息,同時又能快速搜尋或迭代資訊。我們系統分析該模型的計算性質[11-12],並用該模型成功瞭解釋大量的神經生物學現象[13-14]。

本文作者吳思系北京大學心理與認知科學學院教授,麥戈文腦科學所常務副所長

參考文獻:(上下滑動可瀏覽)

[1]Amari, S. (1972). Learning patterns and pattern sequences by self-organizing nets of threshold elements. IEEE Transactions on Computers, C-21(11), 1197–1206.

[2]Hopfield, J. J. (1982). Neural networks and physical systems with emergent collective computational abilities. Proceedings of the National Academy of Sciences of the United States of America, 79, 2554–2558.

[3]Amari, S. (2013). Dreaming of mathematical neuroscience for half a century. Neural Networks, 37, 48–51.

[4]Amari, S. (1967). Theory of adaptive pattern classifiers. IEEE Transactions, EC-16, 299–307.

[5]Rumelhart, D., McClelland, J., & Hinton, J. (1986). Learning internal representations by error propagation. In D. E. Rumelhart, & J. L. McClelland (Eds.), Parallel distributed processing: explorations in the microstructure of cognition, vol. 1. MIT Press.

[6]Krotov, Dmitry, and J.J. Hopfield (2016). Dense associative memory for pattern recognition. NeurIPS.

[7]Amari, S. (1977). Neural theory of association and concept-formation. Biological Cybernetics, 26, 175–185.

[8]Kim, S., Rouault, H., Druckmann, S. & Vivek Jayaraman (2017) Ring attractor dynamics in the Drosophila central brain. Science 356, 849–853.

[9]Gardner, R., Hermansen, E., Pachitariu, M., Burak, Y., Baas, N., Dunn, B., May-Britt Moser, & Moser, E. (2022). Toroidal topology of population activity in grid cells. Nature 602, 123-128.

[10]Wu, S., Amari, S. & Nakahara. H. (2002). Population Coding and Decoding in a Neural Field: A Computational Study. Neural Computation, v14, no.5, p.999-1026.

[11]Dong, X.#, Chu, T.#, Huang, T., Ji, Z.*, & Wu S* (2021). Noisy Adaptation Generates Levy Flights in Attractor Neural Networks. NeurIPS.

[12]Dong, X., Ji, Z., Chu, T., Huang, T., Zhang, W., Wu S* (2022). Adaptation Accelerating Sampling-based Bayesian Inference in Attractor Neural Networks. NeurIPS.

[13]Chu, T.#, Ji, Z.#, Zuo, J., Mi, Y., Zhang, W., Huang, T., ... & Wu, S.* (2023). Firing rate adaptation affords place cell theta sweeps, phase precession and procession. eLife.

[14]Ji, Z. L. #, Chu, T.#, Wu, S.* & Burgess, N.* (2024). A systems model of alternating theta sweepsvia firing rate adaptation. Current Biology.

熱門資訊
  • 日本官方終於決定淘汰軟盤!你沒看錯 是軟盤 | 2024-01-31 12:09:14
  • 電子的比荷及相關理論重新確定元電荷的帶電量 | 2024-01-31 12:25:53
  • 馬斯克啟動首次腦機人體試驗:他的技術牛在哪,還有多少難關? | 2024-01-31 12:43:19
  • SpaceX獵鷹9立新功:首次發射天鵝座飛船 | 2024-01-31 12:43:28
  • 破局2024|馬化騰:裁員對員工家庭影響很大;位元組CEO反思:我們去年才討論大模型 | 2024-01-31 12:59:36
  • AMD 承認忘記解除STAPM限制,影響 Ryzen 8700G / 8600G APU 效能 | 2024-01-31 13:00:07
  • 《華盛頓郵報》評蘋果Vision pro:有場隱私危機“蓄勢待發” | 2024-01-31 13:00:11
  • 年入621億!“土裡刨食”的廉價手機,竟成了鑽石王老五 | 2024-01-31 13:00:14
  • 蘋果Vision Pro電池被吐糟 比5000mAh手機還要重 | 2024-01-31 13:00:17
  • 三星S24 Ultra耐久性測試結果:螢幕耐刮 機身剛性不錯 | 2024-01-31 13:03:27
  • 盤點國際上權威組織對轉基因的態度 | 2024-01-31 13:03:31
  • 聊聊高效能核顯輕薄本的“必要條件” | 2024-01-31 13:03:38
  • 蘋果Vision Pro頭顯獲近7億美元收入,你會買2萬多的蘋果頭顯嗎? | 2024-01-31 13:03:41
  • 蘋果iPhone 16系列擠牙膏 2024年預期出貨跌15% | 2024-01-31 13:04:26
  • 登上月球需要多大技術支援?美國:一臺記憶體4KB的計算機就夠了! | 2024-01-31 13:29:26
  • 掃地機器人“鼻祖”即將裁員換將 | 2024-01-31 13:30:05
  • 海森堡測不準原理的理論基礎 | 2024-01-31 13:33:49
  • 天璣9400引數曝光:3奈米、CPU提升40%、功耗省33% | 2024-01-31 13:51:18
  • 為最佳化問題而最佳化的晶片 | 2024-01-31 13:51:47
  • 蘋果使用者饞哭了,小米澎湃OS好用的功能 | 2024-01-31 14:37:36
  • 華為、蘋果官網上新,這價格把我看傻了! | 2024-01-31 14:37:45
  • 蘋果新系統來了,已「定檔」 | 2024-01-31 14:37:49
  • 三星國內市場再陷爭議,虧還沒吃夠? | 2024-01-31 14:37:53
  • 曝華為新款筆記本效能提升非常大 搭載麒麟PC晶片? | 2024-01-31 14:37:57
  • 256GB僅1699元!訴說華為的「良心」,在於落實需求 | 2024-01-31 14:44:48
  • 史上最強麒麟旗艦!曝華為P70 Art 3月發 | 2024-01-31 14:44:59
  • 沒訊號也行?華為成功模擬直連衛星上網 | 2024-01-31 14:45:03
  • iPhone 16創新沒驚喜!郭明錤:最快iPhone 17才有重大變化 | 2024-01-31 14:45:07
  • 銘凡 AMD 獨顯迷你主機 HX100G 上架,準系統版定價 4799 元 | 2024-01-31 14:45:11
  • 傳夏普廣州10.5代廠也將被“拋售”,接盤者還可能是中國面板企業 | 2024-01-31 14:52:23
最近發布
突發!TVB知名女星毫無預警宣佈與未婚夫分手,結束長達八年情 面對被黑,蘭姐強勢迴歸。小菲狀態好轉,發宣告。更多內幕揭曉! 中國男籃決戰日本隊,首發五人曝光,廣東隊大贏家,徐傑第一後衛 孫穎莎奪女單冠軍!採訪謙遜立足拼,劉國樑給中國選手頒獎笑開花 分析 馬威交易取消後的影響:湖人還有什麼選擇?只能等休賽期? 火箭vs猛龍前瞻:範弗裡特有望復出戰舊主,火箭欲終結六連敗 梅西轟動宏都拉斯!當地媒體:這是世紀體育盛事! 登記開啟!金中、29中、13中等校動了! 開年暴擊!南京又一家機構跑路了? TechInsights:AI PC未能提振筆記本市場 2024年僅增長5% 睡覺時突然腿抽筋,就是缺鈣?錯!還有這4個原因,別輕易忽視了 泡泡瑪特又贏麻了!此前被調侃是“境內最大的博彩公司” 再也不用扎手指!5億糖尿病患者有福了 傳《尼爾:機械紀元》續作、新《古墓麗影》今年公佈 有工作經驗的畫素畫師如何寫簡歷? 離譜!Xun被搶3條龍,JDG仍然獲勝!Peyz力挽狂瀾,WBG痛失好局 將耗死在國際空間站?59歲美滯留女宇航員求救:喪失重要身體機能 華為FreeClip耳機玫瑰金開售 開放式聆聽設計 CBA俱樂部杯-山西淘汰北控晉級4強 原帥18分 小紅書上移民的中產:曾經北京七套房, 羨慕海外一張床, 如今卻...... 不可抗力停課2天以上退一半保教費,佛山幼兒園收費新規釋出 紅棉襯醉美,2020番順醉美青餅評測 華為FreeClip耳夾耳機玫瑰金配色開售:1299元 64歲寧波老闆,跨界無數次,給員工發8億,即將擁有第三家IPO? 卡友資訊股東持股情況變動 廣州“城市合夥人”:城市與人才的雙向奔赴 有人說孫穎莎粉絲是飯圈文化的時候 卻有些人用真金白銀愛孫穎莎! 男生剪“短髮”髮型乾淨利落,試試這3款,剪完帥氣提升顏值! 7個臀部訓練最佳動作,打造迷人的蜜桃臀! 偉大的4-2!林詩棟奪冠:新科世界第1誕生、超越王楚欽,狂攬3冠 新疆完美了!新小外強於皮特森+黑根斯,承認補強大外良性競爭! 林詩棟奪男單冠軍!採訪大談不容易太謙遜,單獨拍照露出笑容! 國乒最新戰報!林詩棟第2局11-8,衝3冠王,梁靖崑救2局點仍輸球 替補奇兵!快船大將5記3分助隊贏球 哈登好幫手 爆冷!北控男籃吊打奪冠大熱門球隊,外援決定比賽的走向 官宣離任,胡明軒宣佈重要決定,廣東宏遠遺憾,杜鋒祝福 又一個賈德松!崔康熙看人很準,魯媒:卡約又要錯過中國聯賽了 劉國樑憔悴!黑眼圈很重,擋住蒯曼被提醒,孫穎莎王楚欽被裁判整 林詩棟逆轉梁靖崑奪冠,成就三冠王,綜合實力更加突出 CBA最新外援註冊資訊,遼籃4人,新疆補充新援,廣東男籃放棄萊斯 大滿貫收官獎金排名:林詩棟三冠60萬第1,孫穎莎第2王曼昱10萬第9 臺灣律師分析大S遺產劃分,S媽要錢得看汪小菲臉色,打臉光頭安排 臺媒曝大S家人鬆手,讓出撫養權給汪小菲,希望馬筱梅善待孩子 二線白酒暴雷,狼真的來了! 搭上比亞迪,自動駕駛獨角獸,利潤大增170%! 炸裂!外資吹響“加倉中國”集結號背後:科技格局重塑與資產重估 這波夢幻西遊副本積分兌換真是血虧,四賜福的山賊值得買嗎? 《星戰亡命之徒》高階美工又回到CDPR 開發《巫師4》 《哪吒2》登陸北美,首映禮現好萊塢!有觀眾哭花眼妝:特效超預期,買票靠搶 曝張蘭被封年損失近4億,麻六記絕地自救太壯觀,員工曬張蘭近況

©2024 時時頭條 版權所有

隱私政策 | 服務條款 | 聯繫我們