時時頭條
  • 娛樂
  • 體育
  • 財經
  • 科技
  • 旅遊
  • 軍事
  • 育兒
  • 時尚
  • 遊戲
  • 歷史
  1. 首頁
  2. 科技

精度與通用性不可兼得,北大華為證明低精度下scaling law難以實現

2024-11-18 19:44:03

AIxiv專欄是機器之心釋出學術、技術內容的欄目。過去數年,機器之心AIxiv專欄接收報道了2000多篇內容,覆蓋全球各大高校與企業的頂級實驗室,有效促進了學術交流與傳播。如果您有優秀的工作想要分享,歡迎投稿或者聯絡報道。投稿郵箱:[email protected];[email protected]

本工作來自北京大學智慧學院王立威、賀笛老師課題組與華為諾亞方舟實驗室李震國、孫嘉城研究員。作者包括智慧學院博士生馮古豪、古云天、羅勝傑;資訊科學技術學院本科生楊鎧、艾心玥。

大模型量化透過將模型引數從較高的精度(如 bfoat16)壓縮到低精度(如 int8 或 int4)來降低模型推理的開銷,提高模型推理的速度。在大語言模型的實際部署中,量化技術能夠顯著提高大語言模型推理的效率。但近日,來自哈佛大學,MIT,CMU,斯坦福大學和 Databricks 的研究團隊透過大量實驗總結出了大語言模型關於精度的 Scaling Law,實驗發現模型的量化壓縮會較大影響大語言模型的效能。

無獨有偶,來自北大和華為的研究團隊近期則從理論角度研究了量化對於大模型通用性的影響。具體而言,研究者關注了量化對於大模型數學推理能力的影響。其研究理論表明足夠的模型精度是大模型解決基本數學任務的重要前提,而量化會大大降低大模型在基本數學任務上的表現,甚至提升足夠引數量也無法彌補。

論文連結:https://arxiv.org/abs/2410.13857

量化降低了模型的基本數學能力

數學推理能力是大語言模型的一項重要能力,也是大語言模型走向通用人工智慧的關鍵能力之一。然而,相較於經典的任務,數學推理往往需要嚴格的邏輯和準確的中間結果。在各種各樣的數學推理任務中,算術能力是大語言模型解決各類複雜的數學問題的基礎。更需要注意的是,大模型在處理數值的時候,會將一個數 “切分” 成一段一段的數字,例如:數字 1234.5678 在大模型中可能被編碼為 “12” “34” “.” “56” “78”,如此編碼後的資訊是否可以被正確理解進而完成算術任務也是一個疑問。

本工作研究者以基本的算術能力為切入點,研究了不同精度的 Transformer 在解決基本數學任務上的能力差異。下圖展示了一些相應的例子。為了反映大模型對長數字的實際解碼方式,在這些任務中,運算數中的每一數位均以一個獨立的 token 作為大模型的輸入,大模型的輸出也是從高位往低位逐數位地輸出。

在本工作中,研究者分別使用對數精度 Transformer 和常數精度 Transformer 的理論模型來刻畫標準精度大語言模型和量化後的低精度大語言模型。其中,對數精度指的是 Transformer 內部單個的神經元至多能夠儲存由O(logn)位元表示的實數,這裡n指的是模型所能處理的最大序列長度。而常數精度指的是 Transformer 內部單個的神經元只能夠儲存至多c位元表示的實數,這裡的c是一個與序列長度無關的小常數。這裡,實數可以由定點數或者浮點數格式表示。

當前主流的大語言模型,包括 GPT 系列、Claude 系列或者開源的 LLAMA 系列,能夠處理的最大序列長度一般在 4k 到 128k 不等。在這樣的序列規模下,對數精度和常數精度較好地刻畫了量化前後的精度差異。

之前的研究結果表明,標準精度 Transformer 具備解決這些基本算術任務的能力。這表明合適的精度能夠保證大模型具有解決相應基本數學任務的能力。然而本工作理論證明當大語言模型經過量化、精度降低後,模型的能力受到了顯著的影響。當使用低精度模型時,模型在多整數相加、整數相乘的任務上需要超多項式的模型引數量。這表明當精度不足時,即便充分增大模型尺寸 (scaling parameters),其也難以獲得完成這些基本算術任務的能力。

下表總結了相應的理論結果,表明了不同精度下各基本算術任務所需模型寬度的理論結果。其中,藍色代表模型可以在較小的尺寸內解決相應的任務,而紅色代表模型無法在可接受的尺寸內解決相應的問題。可以發現,標準精度的大語言模型能夠輕鬆解決算術的任務,然而經過量化後低精度的大模型,在解決基本算術任務上的能力出現了明顯的缺失。

實驗驗證

除了理論推導,研究者進行了大量實驗來驗證理論結果。研究者在算術運算的資料集上訓練了一系列小模型,在小模型上的訓練結果表明,在多整數相加和整數相乘任務上,提升精度能夠使相同尺寸的模型解決更大規模的問題。

此外,研究者還在 LLaMA3.1-8B 模型上進一步進行了一些系列實驗,實驗結果同樣證實,在使用 int4 進行量化之後,在大語言模型各基本算術任務上的表現均出現了相應的下降。對於最為困難的整數相乘任務,其效能下降最為明顯。

總而言之,模型的量化壓縮會明顯損害大語言模型在數學推理問題上的效能,為了解決複雜的數學推理問題,足夠的精度是必不可少的。這也說明,在實際部署大語言模型的過程中,不能夠一味追求量化帶來的效率,也要考慮到應用場景,採用合適的部署策略,同時兼顧大語言模型的實際效能和執行效率。

熱門資訊
  • 外媒:中國航空航天成為全球關注焦點 | 2024-11-14 08:44:59
  • C909、C919、C929國產飛機呈“譜系化”發展 | 2024-11-14 08:56:51
  • 蘋果M4 Max音訊轉錄速度約為英偉達RTX A5000兩倍,而功耗僅13% | 2024-11-14 09:01:40
  • 義大利“通吃”!跟中國4個合作,還搭上美國重返月球:提供MPH艙 | 2024-11-14 09:05:47
  • 英特爾釋出6297 Beta圖形驅動更新:支援《模擬農場 25》等新遊戲 | 2024-11-14 09:34:42
  • Oura CEO 堅信蘋果不會開發智慧戒指,因為會削弱Apple Watch銷量 | 2024-11-14 09:43:33
  • 美媒:“空中計程車”競賽,美國為何落後於中國? | 2024-11-14 09:44:09
  • 份額68.8%!金士頓記憶體又是全球第一:連續21年無人敵 | 2024-11-14 09:45:20
  • AOC 推出 Fast IPS 顯示器 AG276FK:FHD 解析度 520Hz 超高刷 | 2024-11-14 10:22:20
  • 國內“三大航”C919飛機齊聚成都!執飛往返北上廣 | 2024-11-14 10:27:04
  • AMD Ryzen 7 9800X3D被曝出現燒燬案例 使用者安裝不當? | 2024-11-14 10:33:52
  • 人腦在無意識的情況下,仍可識別模式 | 2024-11-14 10:50:57
  • DDR5 頻率記錄再重新整理:全何記憶體條 + 華擎主機板組合實現 12264MT/s | 2024-11-14 11:00:05
  • 銳龍7 9800X3D首次燒燬!使用者承認可能是自己的錯 | 2024-11-14 11:09:20
  • 122TB!全球第一SSD容量翻番:QLC快閃記憶體5年無限隨機寫入 | 2024-11-14 11:21:48
  • CFS公司獲美國能源部250萬美元資助,將公佈首座核聚變發電站選址 | 2024-11-14 11:23:41
  • NEC 收穫新超算訂單:英特爾 CPU + AMD 加速器 + 英偉達交換機 | 2024-11-14 11:23:46
  • 訊息稱記憶體原廠考慮 HBM4 採用無助焊劑鍵合,進一步降低層間間隙 | 2024-11-14 11:28:36
  • 美媒:馬斯克在海湖莊園待了近一週 特朗普孫輩把他當叔叔 | 2024-11-14 11:29:46
  • 雷軍現身珠海航展,小米“飛行汽車”會有嗎? | 2024-11-14 11:30:03
  • 頂流科學家和一座城,用4年鑄造中國晶片產業的突圍金鑰 | 2024-11-14 11:30:49
  • “馬部長”究竟能幫美國人省下多少錢? | 2024-11-14 11:36:57
  • 星艦再次出發,怎麼還帶個香蕉? | 2024-11-14 11:43:43
  • 國產腦機介面植入又一例!臨床應用前景漸明晰 這些公司已有佈局 | 2024-11-14 11:44:37
  • 小米米家智慧蒸烤箱 S1 30L 預售開啟:蒸烤炸燉四合一,1599 元 | 2024-11-14 12:04:07
  • 蘋果因AirPodsPro雜音被起訴 或涉嫌虛假廣告宣傳 | 2024-11-14 12:09:31
  • 揭秘國內載重最大的無人直升機——“天空之舟” | 2024-11-14 12:14:10
  • 湖南大學、河北師範大學聯手,最新Nature Nanotechnology,填補知識空白! | 2024-11-14 12:26:05
  • 瀚鎧RX 7900 XTX超合金旗艦版搭配銳龍7 9800X3D評測:全面大幅領先RTX 4080 SUPER | 2024-11-14 12:30:20
  • Intel顯示卡驅動減肥500MB 但仍有1.1GB!遠超N/A | 2024-11-14 12:34:08
最近發布
突發!TVB知名女星毫無預警宣佈與未婚夫分手,結束長達八年情 面對被黑,蘭姐強勢迴歸。小菲狀態好轉,發宣告。更多內幕揭曉! 中國男籃決戰日本隊,首發五人曝光,廣東隊大贏家,徐傑第一後衛 孫穎莎奪女單冠軍!採訪謙遜立足拼,劉國樑給中國選手頒獎笑開花 分析 馬威交易取消後的影響:湖人還有什麼選擇?只能等休賽期? 火箭vs猛龍前瞻:範弗裡特有望復出戰舊主,火箭欲終結六連敗 梅西轟動宏都拉斯!當地媒體:這是世紀體育盛事! 登記開啟!金中、29中、13中等校動了! 開年暴擊!南京又一家機構跑路了? TechInsights:AI PC未能提振筆記本市場 2024年僅增長5% 睡覺時突然腿抽筋,就是缺鈣?錯!還有這4個原因,別輕易忽視了 泡泡瑪特又贏麻了!此前被調侃是“境內最大的博彩公司” 再也不用扎手指!5億糖尿病患者有福了 傳《尼爾:機械紀元》續作、新《古墓麗影》今年公佈 有工作經驗的畫素畫師如何寫簡歷? 離譜!Xun被搶3條龍,JDG仍然獲勝!Peyz力挽狂瀾,WBG痛失好局 將耗死在國際空間站?59歲美滯留女宇航員求救:喪失重要身體機能 華為FreeClip耳機玫瑰金開售 開放式聆聽設計 CBA俱樂部杯-山西淘汰北控晉級4強 原帥18分 小紅書上移民的中產:曾經北京七套房, 羨慕海外一張床, 如今卻...... 不可抗力停課2天以上退一半保教費,佛山幼兒園收費新規釋出 紅棉襯醉美,2020番順醉美青餅評測 華為FreeClip耳夾耳機玫瑰金配色開售:1299元 64歲寧波老闆,跨界無數次,給員工發8億,即將擁有第三家IPO? 卡友資訊股東持股情況變動 廣州“城市合夥人”:城市與人才的雙向奔赴 有人說孫穎莎粉絲是飯圈文化的時候 卻有些人用真金白銀愛孫穎莎! 男生剪“短髮”髮型乾淨利落,試試這3款,剪完帥氣提升顏值! 7個臀部訓練最佳動作,打造迷人的蜜桃臀! 偉大的4-2!林詩棟奪冠:新科世界第1誕生、超越王楚欽,狂攬3冠 新疆完美了!新小外強於皮特森+黑根斯,承認補強大外良性競爭! 林詩棟奪男單冠軍!採訪大談不容易太謙遜,單獨拍照露出笑容! 國乒最新戰報!林詩棟第2局11-8,衝3冠王,梁靖崑救2局點仍輸球 替補奇兵!快船大將5記3分助隊贏球 哈登好幫手 爆冷!北控男籃吊打奪冠大熱門球隊,外援決定比賽的走向 官宣離任,胡明軒宣佈重要決定,廣東宏遠遺憾,杜鋒祝福 又一個賈德松!崔康熙看人很準,魯媒:卡約又要錯過中國聯賽了 劉國樑憔悴!黑眼圈很重,擋住蒯曼被提醒,孫穎莎王楚欽被裁判整 林詩棟逆轉梁靖崑奪冠,成就三冠王,綜合實力更加突出 CBA最新外援註冊資訊,遼籃4人,新疆補充新援,廣東男籃放棄萊斯 大滿貫收官獎金排名:林詩棟三冠60萬第1,孫穎莎第2王曼昱10萬第9 臺灣律師分析大S遺產劃分,S媽要錢得看汪小菲臉色,打臉光頭安排 臺媒曝大S家人鬆手,讓出撫養權給汪小菲,希望馬筱梅善待孩子 二線白酒暴雷,狼真的來了! 搭上比亞迪,自動駕駛獨角獸,利潤大增170%! 炸裂!外資吹響“加倉中國”集結號背後:科技格局重塑與資產重估 這波夢幻西遊副本積分兌換真是血虧,四賜福的山賊值得買嗎? 《星戰亡命之徒》高階美工又回到CDPR 開發《巫師4》 《哪吒2》登陸北美,首映禮現好萊塢!有觀眾哭花眼妝:特效超預期,買票靠搶 曝張蘭被封年損失近4億,麻六記絕地自救太壯觀,員工曬張蘭近況

©2024 時時頭條 版權所有

隱私政策 | 服務條款 | 聯繫我們