作者：張發恩 創新奇智CTO
轉載自公眾號：後向傳播
最近一篇新聞標題《李飛飛團隊用不到50美元訓練出媲美DeepSeek R1的AI推理模型》吸引了不少眼球，似乎預示著AI技術即將迎來一場“廉價革命”。 不少人可能會驚呼：“什麼？不到50美元就能訓練出媲美DeepSeek Rl的AI模型？這AI也太便宜了吧！”
但，事實真的如此嗎？ 作為一名AI從業者，看到這個標題，我感覺事情並不簡單。仔細研讀新聞和相關論文後，我發現這篇新聞的解讀存在不少誇大和誤導之處。 我詳細讀了原論文，儘可能還原事實，避免大家被不實資訊所誤導。
“標題黨”嫌疑：事實可能並非如此“美好”
1. “媲美DeepSeek R1”？實際效果可能與你的期待有差距
DeepSeek R1是DeepSeek公司推出的 閉源 大模型，而新聞中提到的 s1模型 ， 實際上是與 OpenAI的o1-preview模型 以及 DeepSeek-R1 800K資料蒸餾出的32B模型 做對比。注：DeepSeek R1是670B的大模型，與DeepSeek-R1 800K資料蒸餾出的32B模型是完全不同的兩個模型。
論文中的實驗結果表明，s1模型在 部分 推理任務上（例如AIME24競賽數學題）超過了o1-preview ， 但這並不代表s1模型就 全面媲美 甚至 超越 了DeepSeek R1。更重要的是， s1的效果離DeepSeek-R1 800K資料蒸餾出的32B模型 還有不小的差距 。新聞標題用 “媲美DeepSeek Rl” 這樣的字眼， 容易給讀者造成 s1模型已經可以和DeepSeek的頂尖模型相提並論 的 錯誤印象 。下圖是s1論文披露的實驗資料（https://arxiv.org/pdf/2501.19393）
2. “不到50美元”？請注意限定語和實際成本
新聞中 “用不到50美元的雲端計算費用” 的說法， 容易讓人誤以為訓練一個高效能AI推理模型只需要區區幾十美元 。但實際上，這50美元僅僅是 指論文中s1模型在16張H100 GPU上訓練26分鐘的雲端計算費用 。
這 “不到50美元” 的成本， 僅僅是模型微調階段的計算成本 ，並不包括 ：
前期資料收集和清洗成本為了構建高質量的1K訓練資料集s1K，研究團隊需要從59K原始資料集中進行篩選和標註，這其中投入的人力成本和時間成本遠不止50美元 。預訓練模型的成本s1模型是基於 Qwen2.5-32B-Instruct 這個 已經預訓練好的大模型 進行微調的。 預訓練大模型的成本是極其高昂的 ，動輒數百萬美元甚至更高。新聞有意忽略了預訓練階段的巨大投入，只強調微調的低成本，有“避重就輕”之嫌 。
3. “訓練出媲美...的AI推理模型”？資料篩選的功勞不可忽視
新聞標題容易讓人覺得， 是李飛飛團隊提出了一種 革命性的模型訓練方法 ，才能用 “不到50美元” 訓練出高效能模型。 但深入分析論文後， 我們發現 資料篩選 在 s1模型的成功中扮演了至關重要的角色。
s1模型的核心創新之一， 在於其構建的 高質量小樣本資料集 s1K 。 研究團隊並非隨機使用1K資料進行訓練， 而是從59K 資料集中 精心篩選 出1K 高質量樣本。 篩選過程主要包括：
質量篩選去除低質量、存在格式錯誤或 API 錯誤的資料。難度篩選去除 Qwen2.5-7B-Instruct 或 Qwen2.5-32B-Instruct 等模型能夠輕鬆解答的簡單問題。多樣性篩選根據 MSC 分類系統對問題進行領域分類， 確保資料集涵蓋不同領域的知識。
實驗結果表明，使用精心篩選的1K 資料訓練的模型，效能甚至可以媲美使用全量59K 資料訓練的模型 ，遠超 隨機選擇資料或僅考慮資料長度、多樣性的方法。這說明，在資料驅動的AI領域，資料質量往往比資料數量更重要 。 s1模型的成功， 很大程度上歸功於其高質量的資料篩選策略，而非僅僅是 “低成本” 訓練 。
論文的創新之處：小樣本高效微調 + 推理預算強制
當然， 這篇論文並非一無是處。 s1論文在以下方面還是有其創新性和貢獻的 ：
1. 驗證了小樣本高效微調的可行性
s1論文再次印證了 高質量小樣本資料在模型微調中的巨大潛力 。 在算力成本高昂、 資料獲取困難的背景下， 如何利用少量資料訓練出高效能模型 一直是 AI 領域的研究熱點。 s1論文提供了一個 利用資料篩選策略實現小樣本高效微調 的成功案例， 為後續研究提供了有益的參考。 尤其值得肯定的是， 論文開源了高質量的 s1K 資料集 ， 這將有助於推動小樣本學習和推理相關領域的研究進展。
2. 提出 “推理預算強制” 方法， 探索推理過程干預
s1論文提出的 “推理預算強制 (Budget Forcing)” 方法，也為 模型推理過程的干預和調控 提供了一種新的思路。 透過 強制結束或延長模型的思考時間 ， s1模型能夠在推理過程中進行自我調整和最佳化 ，從而在一定程度上提升推理效能。 這種 在推理階段對模型行為進行干預 的思想，具有一定的啟發意義 ，未來或可應用於更多推理最佳化方法的研究中。
理性看待技術進步，“標題黨”新聞對行業有害
總的來說，“李飛飛團隊50美元AI模型” 這篇新聞標題存在誇大和誤導之處 ， 容易讓讀者對 AI 技術的現狀產生不切實際的幻想。 s1模型 的成功， 是資料質量、 巧妙技術和現有預訓練模型共同作用的結果， 並非 “廉價” 和 “速成” 的代名詞 。
我們肯定 s1論文在小樣本學習和推理干預方面 的探索和貢獻 ，讚賞研究團隊開源高質量資料集的舉動 。但同時，我們必須保持清醒的認識 ：
AI 技術的發展仍然面臨諸多挑戰 “廉價” 和 “通用” 的 AI 模型離我們還很遙遠 。資料質量是 AI 模型效能的關鍵 “煉丹” 並非易事，需要精細的調參和最佳化 。“標題黨” 式新聞 為了博取眼球， 不惜誇大事實甚至歪曲真相 容易誤導公眾，甚至對行業發展產生負面影響 。
作為AI從業者和愛好者，我們應該保持理性思考，客觀看待技術進步，警惕 “標題黨” 式新聞的危害，共同營造一個健康、理性的 AI 發展環境 。 腳踏實地，一步一個腳印，才是 AI 技術走向成熟的正確道路 。
