出品|科技《態度AGI》欄目
作者|丁廣勝
一個小時之前,月之暗面創始人楊植麟在北京與網易科技等媒體見面,內容無他,只和最新模型有關,針對“登月計劃”的關鍵一步kimi數學模型k0-math。
這是月之暗面對於大模型下一步發展的思考,即讓大模型思考。
楊植麟說月之暗面接下來探索的關鍵有兩個,一個是強化學習,一個是數學場景。
大約400年前,伽利略著名的論斷說,宇宙是一本用數學語言寫成的“宏偉之作”。
楊植麟引用伽利略的這句話,闡述了月之暗面對於數學場景佈局的判斷。
基準測試顯示,Kimi k0-math 的數學能力可對標全球領先的 OpenAI o1系列可公開使用的兩個模型:o1-mini和o1-preview。
在中考、高考、考研以及包含入門競賽題的MATH等4個數學基準測試中,k0-math 初代模型成績超過o1-mini和o1-preview模型。在兩個難度更大的競賽級別的數學題庫 OMNI-MATH 和 AIME 基準測試中,k0-math 初代模型的表現分別達到了 o1-mini 最高成績的90% 和83%。
楊植麟表示,Kimi 探索版也透過運用強化學習技術創新了搜尋體驗,在意圖增強、信源分析和鏈式思考三大推理能力上實現突破。
“k0-math 模型和更強大的 Kimi 探索版,未來幾周將會分批陸續上線 Kimi 網頁版和Kimi智慧助手APP,幫助大家解決更有挑戰的數學和搜尋調研類任務。”
以下為楊植麟對話媒體現場實況記錄(AI轉錄,經人類精選、刪減):
問:為什麼時候決定聚焦kimi的?
楊植麟:今年三四月份。我們主動選擇做業務上的減法,聚焦把最重要的事情做好,始終保持大模型公司里人最少的,卡和人的比例最高的。
把一個產品做好,做到極致,是最重要的,我們不希望人數漲的特別猛,我們不能活生生把自己變成大廠。
問:現在都在談應用,但超級應用遲遲沒有出現,為什麼?
楊植麟:已經出現了,ChatGPT有5億月活,這就是超級應用。我們會根據美國市場的情況,來調整自己,選擇一條河AGI願景更貼合的路。
問:你如何看待大模型預訓練?
楊植麟:預訓練還有半代到一代模型的空間,這個空間明年就會釋放出來,也就是說,明年基本上領先的模型會把預訓練做到比較一致的階段。
但我們判斷,強化學習是一個重點。只是用不同的方式去做。我對Scaling Law還是樂觀的。
問:你們為什麼不做多模態?
楊植麟:已經在內測了 。AI思考和互動,我們看重這兩個能力,思考是決定上限,互動是必要條件。
問:你們和豆包競爭比較激烈,同一賽道,接下來如何應對?
楊植麟:競爭本身並不產生價值,我們做好模型思考推理能力,給使用者帶來價值,做正確的事情,而不是專門做不一樣的事情。
問:kimi最核心的任務是什麼?
楊植麟:提升留存。這是當前最重要的事情,還有非常大提升的空間。我們離AGI的距離還處於初級階段
問:如何解決模型過渡思考的問題?
楊植麟:因為我們現在沒有對他的長度做任何的限制,所以他想想多少就想多少,我就讓他自由的思考。問題出現在獎勵上。
問:如果解決資料問題,讓資料實現更大價值?
楊植麟:對強化學習來講是核心的問題,資料是自己生成,獎勵模型的效果會有更大的挑戰,核心是訓練更好的模型。
問:行業發展到今天,還有不少難題待解決,比如演算法算力資料的平衡問題?
楊植麟:AI的發展是一個盪鞦韆的過程,兩種狀態之間來回切換,算力不夠需要好演算法,那沒有高質量的資料也會成為問題,那就是讓演算法改變讓這個事情不成為瓶頸。有時候加再多的卡業不可能提升效果。
問:你如何看待大模型的成本問題,有好的解決辦法了嗎?
楊植麟:接下來的版本會讓大家去做選擇。早期會用之前的方案來給使用者好的體驗,接下來會動態分配算力,模型足夠聰明的話知道自己需要想多久、思考時間更短。另外算力成本的下降也是一個關鍵因素。
問:如何看待AI人才迴流大廠?
楊植麟:月之暗面沒有遇到這樣的問題。這是正常的,行業發展進入新的階段,之前做這個事的公司很多,現在做的公司少了,這是行業發展的規律。
問:這次釋出數學模型,是不是數學和普通人比較遠?
楊植麟:教育產品價值很大。在我們現有流量裡面也可以看到這一點。
問:什麼時候出海?
楊植麟:先聚焦再全球化,我們有耐心。