美國科學家John Hopfield因“為利用人工神經網路進行機器學習做出的基礎性發現和發明”與英國裔加拿大科學家Geoffrey E. Hinton共同獲得2024年諾貝爾物理學獎。圖源：https://election.princeton.edu/articles/john-hopfield-wins-nobel-prize-in-physics/
導讀：
現年91歲的約翰·霍普菲爾德 （John Hopfield） ，是毫無疑問的傑出物理學家。
他的工作，一方面推動了物理學的多個分支；另一方面帶動了不同學科的互動和學科從業者之間的交流，使得他在物理學、生物學、神經科學和計算機科學都得到廣泛的尊重。尤其是他在1980年代提出的霍普菲爾德網路，帶動神經網路的研究從寒冬走向復甦，受到長期被壓抑的神經網路研究者的歡迎。
2024年諾貝爾物理學獎，他實至名歸。
尼克| 撰文
約翰·霍普菲爾德（John Hopfield）生於1933年，他的父母均來自波蘭，後來在美國接受教育均成為有成就的物理學家。他的父親原姓切米諾夫斯基（Chmielewski），移民美國後改為Hopfield。小霍普菲爾德1954年在費城郊區的頂級文理學院斯沃茨莫爾（Swarthmore）得到本科學位，1958年在康奈爾大學獲物理學博士，之後的20年大部分時間都在貝爾實驗室和普林斯頓大學工作。他在1970年之前已經是最傑出的凝聚態物理學家之一，1969年獲得美國物理學會頒發的巴克利獎（Oliver E. Buckley Prize），這是凝聚態物理的最高獎之一，華人學者崔琦、張首晟、文小剛、薛其坤等都得過此獎。他1973年入選美國科學院，年方40。
2024年諾貝爾物理學獎揭曉後，許多人感到震驚，“物理學不存在了”。實際上，機器學習的理論基礎與物理關係密切。
1970年代之後，霍普菲爾德和他的偏向生物學的學生特里·謝諾夫斯基（Terry Sejnowski）開始利用物理學工具探索分子生物學中的理論問題。他受邀參加波士頓神經科學研究計劃（NRP）的一個會議時，意識到他的研究也可以應用於大腦結構，便開始思考簡單神經網路的動力學。當大量神經元集體行動時，會有湧現的特徵，但這些特徵在把網路當作單獨元件看待時並不明顯。1980年，霍普菲爾德離開普林斯頓大學，前往位於南加州的加州理工學院擔任生物物理教授。那裡有大物理學家費曼和積體電路大佬米德（Carver Mead），他們很快成為合作者。
費曼在1980年代初受奇才弗雷德金（Edward Fredkin）的啟發，開始研究計算理論和理論物理的關係，特別是量子計算。費曼認為學習一個新領域最好的辦法就是開個課，他遂於1983年至1985年間，在加州理工學院開了一門“計算機的潛力和限度”的獨特課程。在這門課上，費曼自己講了“計算理論”“可逆計算”“量子計算機”和“計算的物理問題”等題目。他還請了霍普菲爾德和米德等助陣，分別講述計算與生物物理，以及計算與電路實現的關係。偶爾到南加州開會的明斯基也會被拉來客串。這門課錄了音，後來由聽過課的兩位英國博士後整理成文字出版，書名《費曼計算機科學講義》（Feynman Lectures on Computation），書中包羅了費曼的講課內容。可惜費曼沒等到書面世就病逝了。在1980年代研究計算和物理的關係還不是顯學，即使今天很多做量子計算的其實也還不太懂計算理論的精髓。這本書目前沒有《費曼物理學講義》那麼有名，但我相信在不遠的將來它會成為一部被廣泛閱讀的重要文獻。費曼課堂中外援助陣的那部分材料一直沒機會被系統化地整理，其中包括霍普菲爾德講的“計算與神經系統”，這些講義吸引了廣泛注意，費曼和米德都支援霍普菲爾德在加州理工學院創立“計算與神經系統”的交叉學科博士計劃（PhD Program in Computation and Neural Systems），這個計劃成為神經網路研究的重要基地。
1969年明斯基和佩珀特在《感知機》一書中數學地證明單層神經網路無法解決一些簡單的邏輯問題，例如，異或（XOR），這個結果導致神經網路整個領域的集體衰退。
1980年代，神經網路復興，主要歸功於霍普菲爾德。
1982年，霍普菲爾德提出了一種新的神經網路，可以解決一大類聯想儲存（associative memory）和模式識別問題，這篇文章發表在《美國科學院院刊》上，題目即使今天看來仍然應景：“具有湧現集體計算能力的神經網路和物理系統”（Neural Networks and Physical Systems with Emergent Collective Computational Abilities）。這種神經網路模型後來被稱為霍普菲爾德網路。這是一種非線性網路，整個網路可以用一個能量函式刻畫，但霍普菲爾德證明它是收斂的，即當整個網路達到“吸引子”時，能量方程達到區域性最小化。霍普菲爾德網路的一種應用是按照內容定址的記憶（content-addressable memory），工程師們很快找到在影象識別中的應用，而神經生物學家則提出人的海馬體很像霍普菲爾德網路中的吸引子的證據。最小化的值就是記憶的內容。
費曼及霍普菲爾德和米德都認為計算和物理之間的關係是最重大的研究課題，神經網路是這個大課題下面的子學科。當時，神經網路研究很難申請到經費，成建制的研究在加州理工和斯坦福大學分別被米德和威德洛（Bernard Widrow）以積體電路的名義繼續進行。1984年，霍普菲爾德用模擬積體電路實現了自己提出的模型。
1985年，霍普菲爾德和當時在貝爾實驗室的長期合作者、生物物理學家唐克（David Tank）共同提出霍普菲爾德網路的連續版本，即神經元可以在0和1之間取連續值。連續霍普菲爾德網路被證明可以很低的成本近似地解決了旅行商問題（Traveling Sales Problem）。旅行商問題是被證明為NP完全的最佳化問題，一般認為這類問題不存在高效演算法。霍普菲爾德和唐克的辦法不旨在求出最優解，而是力圖在很短的時間內找到高質量的近似解。這個方法激起了很多計算機科學家用霍普菲爾德網路求解各種很難解的最佳化問題的近似解的興趣；同時又啟發了物理學家探索特定的物理現象和計算結果的關係。
霍普菲爾德模型在不同領域的應用潛力振奮了當時蕭條的神經網路共同體。神經網路的這次復興和生物學沒啥直接關係，它既不是來自生物學的啟發，也沒有給生物學送去任何慰藉。因為它來源於物理學家，倒引起了物理學家們更多的關注。尤其一批對複雜系統感興趣的物理學家，他們在自己的主場物理系一度不被待見，這次總算找到了新的焦點，在交叉學科雜誌Physica D上接二連三地發文章，好不熱鬧。霍普菲爾德網路和很多物理概念有密切的關係，如統計物理中的“伊辛模型”（Ising model）。長期被打壓的神經網路研究者格羅斯伯格（Stephen Grossberg）指出，自己1981年提出的Cohen-Grossberg模型要比1982年提出的霍普菲爾德網路更早且更通用，他很失望即使在神經網路研究度過難關之後，人們也沒有買賬。從影響力看，霍普菲爾德模型在很短的時間內被很多人接受，不僅僅是人工智慧學者看到新的應用，更多還是依仗物理學家為神經網路找到了理論和實驗的基礎。
1980年代，在加州大學聖地亞哥分校由認知心理學家盧默爾哈特（David Rumelhart）和麥克利蘭德（James McClelland）領導的PDP小組，團結了當時被主流人工智慧排斥的一大票神經網路研究者。其中就有和霍普菲爾德同時得到2024年諾貝爾物理獎的計算機科學家辛頓（Hinton）。他們很快認霍普菲爾德為同道。
霍普菲爾德培養了一批後起之秀，包括現在生物學重鎮Salk研究所擔任計算神經生物學實驗室主任的謝諾夫斯基。值得指出的是，謝諾夫斯基是辛頓的長期合作者，他們在1986年提出“玻爾茲曼機”，謝諾夫斯基稱之為改進版的霍普菲爾德網路。他們利用玻爾茲曼機在模式識別上取得驚人的進展。辛頓後來回憶他的學術生涯時說：玻爾茲曼機是他除了深度學習之外第二重要的貢獻，但是現在看起來當時他和謝諾夫斯基在上面花的時間太多了。1997年，已到退休年齡的霍普菲爾德又回到普林斯頓大學擔任分子生物學教授，為與他長期合作的唐克（Tank）新建立的神經科學研究所站臺。
霍普菲爾德
1980至1990年代，霍普菲爾德據傳被多次提名諾貝爾物理獎。他的工作，一方面，推動了物理學的多個分支；另一方面，其本身就具備交叉學科的特性，帶動了不同學科的互動和學科從業者之間的交流，使得他在物理學、生物學、神經科學和計算機科學都得到廣泛的尊重，尤其得到長期被壓抑的神經網路研究者的歡迎。
2024年的諾貝爾物理獎和化學獎將是里程碑式的，它們打通了人工智慧和科學。近來人工智慧從業者有個說法：AI4Science，即把科學當作人工智慧的客戶，這多少還有點自賣自誇之嫌。但2024年的諾獎蓋章證實了這一點，其中化學獎名副其實是AI4Science：DeepMind的AhphaFold為化學和生物學提供了高效的工具；而物理獎算是Science4AI，霍普菲爾德網路在人工智慧低潮期為神經網路研究提供了物理學的基礎。人工智慧在能力進一步大幅提升之前，在可預見的將來，會是科學的同道。我一點也不驚奇，某一天數學的菲爾茨獎會發給人工智慧相關的研究。發明人工智慧工具的人，和使用人工智慧工具的人從未如此接近。
現在，仍然有人在不同領域試探各種改進的霍普菲爾德網路，其中包括大語言模型。關於人工智慧對未來的影響，霍普菲爾德獲獎後接受諾貝爾獎官方網站的採訪時說，他同意辛頓對人工智慧對人類潛在危害的擔憂：你無法控制一個你無法理解但同時又進步神速的東西。
本文寫作得到洪濤、馬少平和趙偉等師友的鼓勵和幫助，特此致謝。
作者簡介：
尼克，烏鎮智庫理事長。曾獲吳文俊人工智慧科技進步獎。中文著作包括《人工智慧簡史》《理解圖靈》《UNIX核心剖析》和《哲學評書》等。
參考文獻：（上下滑動可瀏覽）
[1]尼克，《人工智慧簡史》，第二版，2021
[2]尼克，《理解圖靈》，2024
[3]Feynman, R., Feynman Lectures on Computation, 1996
[4]Hopfield, J., Tank D W, 1985. “Neural” Computation of Decisions in Optimization Problems. Biological Cybernetics, 52(3):141-152.
[5]Hopfield, J., 1982. Neural Networks and Physical Systems with Emergent Collective Computational Abilities. Proceedings of the National Academy of Sciences, 79(8) :2554-2558.
[6]Sejnowski, T., Deep Learning Revolution, 2018（有中譯本）
本文轉載自《賽先生》微信公眾號
《物理》50年精選文章
