來源： 中國科學基金
2024年諾貝爾物理學獎評述
鄂維南*
北京大學 北京科學智慧研究院
鄂維南北京科學智慧研究院理事長，北京大學國際機器學習研究中心主任。中國科學院院士，美國數學學會、美國工業與應用數學學會、英國物理學會、中國工業與應用數學學會、中國運籌學會、中國計算機學會Fellow。研究領域為機器學習、計算數學、應用數學。2022 年國際數學家大會1小時報告人。2022年國際機器學習大會特邀報告人。2003年獲國際工業與應用數學協會Collatz獎。2020年獲國際高效能計算最高獎ACM Gordon Bell獎。2023年獲國際工業與應用數學協會Maxwell獎。
摘 要
深度學習方法起源於20世紀80年代。其根源一方面來自於霍普菲爾德在生物物理學方面的工作，另一方面來自於辛頓的玻爾茲曼機、多層感知機和反向傳播演算法等一系列工作。今年的諾貝尓物理學獎肯定了人工神經網路和深度學習作為物理學的研究物件，給物理學提供了一個迫切需要的新的增長點。這個獎項對物理學和人工智慧的發展，都會帶來幫助。
關鍵詞：人工神經網路、記憶、吸引子、深度學習
2024年諾貝爾物理學獎授予了約翰·霍普菲爾德（John J. Hopfield）和傑弗裡·辛頓（Geoffrey E. Hinton）, 以表彰他們用開創性方法和概念在塑造人工神經網路領域方面發揮的重要作用。這一獎項引發了廣泛關注和討論，尤其是辛頓的獲獎。從傳統的觀點來看，辛頓本人的研究生涯跟物理學幾乎沒有交集。那麼他為什麼能夠獲得諾貝爾物理學獎？在許多人眼裡，諾貝爾物理學獎是諾貝爾獎中含金量最高也是要求最苛刻的一個獎項。物理學家或者物理學的工作在其它領域獲獎的例子並不少見。例如密度泛函理論，雖然是物理學家的工作，也發表在物理學期刊上，但是獲得了諾貝爾化學獎。而其他領域的科學家或其他領域的工作獲得諾貝爾物理學獎的例子卻很難找到。如何看待這個諾貝爾物理學獎，尤其是辛頓的獲獎？本文提供一個個人視角。
首先，這個諾貝爾物理學獎究竟獎勵的是什麼工作。在公開的獲獎介紹裡提到，此獎項是表彰基於人工神經網路實現機器學習的基礎性發現和發明。霍普菲爾德首先提出從一個充分大的、簡單重複的動力系統中可以湧現出計算能力，比方說記憶［1］。
這些記憶以動力系統吸引子的形式出現。那些簡單重複的單元可以被視為神經元。這個機制是魯棒的，它對神經元模型的細節並不敏感，所以我們既可以把這個動力系統看成是一個腦神經網路的模型，也可以把它看成是一個積體電路或者人工神經網路的模型。
從一個充分大的、簡單單元的疊加構建起來的動力系統中可以湧現出宏觀吸引子，這個現象本身並不是霍普菲爾德首先發現的。流體力學中的渦就可以看成是這類現象。但我們不能把渦看成是記憶。一個有用的記憶模型必須能夠記住任何我們希望它記住的狀態。也就是說，任給幾個狀態，我們必須能夠選取上述動力系統中的超引數，使得這些狀態是這個動力系統的吸引子。霍普菲爾德的神經網路模型具備這個性質。
神經網路的概念起源於1943 年McCulloch 和 Pitts 的文章［2］。Rosenblatt的感知機對人工智慧的發展也產生了巨大影響［3］。但這些工作關心的都是比較簡單直接的計算功能。霍普菲爾德的工作讓我們首先看到透過湧現現象，大神經網路可能帶來的新的能力。這是一個新的視角，也是一項典型的生物物理學工作。它把複雜動力系統的想法應用於神經科學，對後來神經科學的發展產生了深遠影響。隨便提一下，多年之後，湧現現象成了深度學習大模型的一個重要標誌。
辛頓則是深度學習的孕育者。他締造了深度學習，也承受了過程中的痛苦。辛頓受霍普菲爾德工作的影響，但關注的是人工智慧。他提出的玻爾茲曼機、多層感知機和反向傳播演算法，為現代深度學習奠定了基礎［4, 5］。無論是玻爾茲曼機，還是反向傳播演算法，離諾貝爾物理學獎的要求還是有距離的。儘管玻爾茲曼機中創造性地引入了機率模型，但在眾多的神經網路模型中，很難說它起到了很特別的作用。反向傳播演算法是訓練深度神經網路的基本工具，但類似的想法已經更早出現在控制論方法中［6］。辛頓的主要貢獻在於他透過一系列的工作，如多層感知機、反向傳播演算法以及AlexNet, 引入了深度學習這個工具並讓我們看到了它的強大威力［7］。
這個過程並不很順利，包括辛頓的博士指導導師在內的很多人對他選擇的方向都不看好，但他最終透過AlexNet 等工作說服了學術界。這背後的動力，在於他對神經網路的深刻的洞察力。辛頓堅定不移地認為，神經網路有著巨大的潛在能力。如果有足夠高質量的資料和足夠大的模型，深度學習的威力就會顯現出來。人工智慧現在的進步，根本上還是來源於辛頓多年來的堅持和推動。
對物理學來說，這個諾貝爾獎至少有兩方面的意義。第一，它強化了物理學對人工智慧發展的貢獻。透過霍普菲爾德到辛頓這樣一條線索，讓人們意識到物理學在人工神經網路乃至人工智慧發展中的重要作用。這是一個極其高明的宣傳手段。更重要的是，它為物理學的發展打開了一個巨大的空間。儘管神經網路本質上是一個數學工具，但是物理學的方法很可能可以提供一些新的視角和新的手段。尤其重要的是，大模型是一個複雜系統。許多複雜系統研究中觀察到的現象和發展起來的方法，都可能對大模型的研究有幫助。如標度律和湧現現象，都已經在大模型中出現。把它作為物理學新的研究物件，無論是對物理學的發展，還是對人工智慧的發展，都會帶來幫助。它給物理學提供了一個迫切需要的新的增長點。
如果我們把深度學習看著是一個20世紀80年代誕生的嬰兒，那麼霍普菲爾德就像是它的父親，辛頓就像是它的母親。這就是這個諾貝爾物理學獎的意義。
參考文獻（略）
閱讀最新前沿科技研究報告，歡迎訪問歐米伽研究所的“未來知識庫”
未來知識庫是“ 歐米伽 未來研究所”建立的線上知識庫平臺，收藏的資料範圍包括人工智慧、腦科學、網際網路、超級智慧，數智大腦、能源、軍事、經濟、人類風險等等領域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每週更新不少於100篇世界範圍最新研究資料。
截止到11月25日 ”未來知識庫”精選的100部前沿科技趨勢報告
