時時頭條
  • 娛樂
  • 體育
  • 財經
  • 科技
  • 旅遊
  • 軍事
  • 育兒
  • 時尚
  • 遊戲
  • 歷史
  1. 首頁
  2. 科技

精度與通用性不可兼得,北大華為證明低精度下scaling law難以實現

2024-11-18 19:44:03

AIxiv專欄是機器之心釋出學術、技術內容的欄目。過去數年,機器之心AIxiv專欄接收報道了2000多篇內容,覆蓋全球各大高校與企業的頂級實驗室,有效促進了學術交流與傳播。如果您有優秀的工作想要分享,歡迎投稿或者聯絡報道。投稿郵箱:[email protected];[email protected]

本工作來自北京大學智慧學院王立威、賀笛老師課題組與華為諾亞方舟實驗室李震國、孫嘉城研究員。作者包括智慧學院博士生馮古豪、古云天、羅勝傑;資訊科學技術學院本科生楊鎧、艾心玥。

大模型量化透過將模型引數從較高的精度(如 bfoat16)壓縮到低精度(如 int8 或 int4)來降低模型推理的開銷,提高模型推理的速度。在大語言模型的實際部署中,量化技術能夠顯著提高大語言模型推理的效率。但近日,來自哈佛大學,MIT,CMU,斯坦福大學和 Databricks 的研究團隊透過大量實驗總結出了大語言模型關於精度的 Scaling Law,實驗發現模型的量化壓縮會較大影響大語言模型的效能。

無獨有偶,來自北大和華為的研究團隊近期則從理論角度研究了量化對於大模型通用性的影響。具體而言,研究者關注了量化對於大模型數學推理能力的影響。其研究理論表明足夠的模型精度是大模型解決基本數學任務的重要前提,而量化會大大降低大模型在基本數學任務上的表現,甚至提升足夠引數量也無法彌補。

論文連結:https://arxiv.org/abs/2410.13857

量化降低了模型的基本數學能力

數學推理能力是大語言模型的一項重要能力,也是大語言模型走向通用人工智慧的關鍵能力之一。然而,相較於經典的任務,數學推理往往需要嚴格的邏輯和準確的中間結果。在各種各樣的數學推理任務中,算術能力是大語言模型解決各類複雜的數學問題的基礎。更需要注意的是,大模型在處理數值的時候,會將一個數 “切分” 成一段一段的數字,例如:數字 1234.5678 在大模型中可能被編碼為 “12” “34” “.” “56” “78”,如此編碼後的資訊是否可以被正確理解進而完成算術任務也是一個疑問。

本工作研究者以基本的算術能力為切入點,研究了不同精度的 Transformer 在解決基本數學任務上的能力差異。下圖展示了一些相應的例子。為了反映大模型對長數字的實際解碼方式,在這些任務中,運算數中的每一數位均以一個獨立的 token 作為大模型的輸入,大模型的輸出也是從高位往低位逐數位地輸出。

在本工作中,研究者分別使用對數精度 Transformer 和常數精度 Transformer 的理論模型來刻畫標準精度大語言模型和量化後的低精度大語言模型。其中,對數精度指的是 Transformer 內部單個的神經元至多能夠儲存由O(logn)位元表示的實數,這裡n指的是模型所能處理的最大序列長度。而常數精度指的是 Transformer 內部單個的神經元只能夠儲存至多c位元表示的實數,這裡的c是一個與序列長度無關的小常數。這裡,實數可以由定點數或者浮點數格式表示。

當前主流的大語言模型,包括 GPT 系列、Claude 系列或者開源的 LLAMA 系列,能夠處理的最大序列長度一般在 4k 到 128k 不等。在這樣的序列規模下,對數精度和常數精度較好地刻畫了量化前後的精度差異。

之前的研究結果表明,標準精度 Transformer 具備解決這些基本算術任務的能力。這表明合適的精度能夠保證大模型具有解決相應基本數學任務的能力。然而本工作理論證明當大語言模型經過量化、精度降低後,模型的能力受到了顯著的影響。當使用低精度模型時,模型在多整數相加、整數相乘的任務上需要超多項式的模型引數量。這表明當精度不足時,即便充分增大模型尺寸 (scaling parameters),其也難以獲得完成這些基本算術任務的能力。

下表總結了相應的理論結果,表明了不同精度下各基本算術任務所需模型寬度的理論結果。其中,藍色代表模型可以在較小的尺寸內解決相應的任務,而紅色代表模型無法在可接受的尺寸內解決相應的問題。可以發現,標準精度的大語言模型能夠輕鬆解決算術的任務,然而經過量化後低精度的大模型,在解決基本算術任務上的能力出現了明顯的缺失。

實驗驗證

除了理論推導,研究者進行了大量實驗來驗證理論結果。研究者在算術運算的資料集上訓練了一系列小模型,在小模型上的訓練結果表明,在多整數相加和整數相乘任務上,提升精度能夠使相同尺寸的模型解決更大規模的問題。

此外,研究者還在 LLaMA3.1-8B 模型上進一步進行了一些系列實驗,實驗結果同樣證實,在使用 int4 進行量化之後,在大語言模型各基本算術任務上的表現均出現了相應的下降。對於最為困難的整數相乘任務,其效能下降最為明顯。

總而言之,模型的量化壓縮會明顯損害大語言模型在數學推理問題上的效能,為了解決複雜的數學推理問題,足夠的精度是必不可少的。這也說明,在實際部署大語言模型的過程中,不能夠一味追求量化帶來的效率,也要考慮到應用場景,採用合適的部署策略,同時兼顧大語言模型的實際效能和執行效率。

熱門資訊
  • 老外搶瘋了?國產新技術海外訂單漲10倍,外企破防:我們的賣給誰 | 2024-12-20 18:43:24
  • VR/MR市場激戰,蘋果Vision Pro拿下市佔率第三! | 2024-12-20 18:43:55
  • 全球出擊:雷神科技將在CES2025展現電競裝備真實力 | 2024-12-20 18:47:57
  • 華碩 ROG 新品曝光:覆蓋 6 款RTX 50顯示卡型號,預計CES 2025亮相 | 2024-12-20 18:47:58
  • 充電盒存在冒煙或燒燬風險,鐵三角在國內召回無線耳機 | 2024-12-20 18:47:59
  • 11月中國大陸顯示卡出貨增長5%:七彩虹穩居第一、RTX 40系列供不應求 | 2024-12-20 19:10:36
  • 放棄堅果狂吃肉?加州松鼠時興捕田鼠吃,專家:嘗過肉就停不下來 | 2024-12-20 19:22:40
  • 飛牛釋出 FD5 硬碟櫃:5 盤位設計、傳輸速率最大 10Gbps,850 元 | 2024-12-20 19:30:04
  • 智譜清言英特爾酷睿 Ultra 專享版釋出,斷網依然可以用 AI 助手 | 2024-12-20 19:30:05
  • 《AM》華南理工大學施雪濤:壓電奈米系統透過自噬調節治療勃起功能障礙! | 2024-12-20 19:32:13
  • 喜報!中國科學院南海所張磊研究員受邀擔任國際著名地學學術期刊GRL主編! | 2024-12-20 19:40:04
  • 乙太網交換機排名,為何這兩家國產廠商可以進入全球TOP5? | 2024-12-20 19:40:06
  • 該期刊撤回中國學者9篇文章,主要原因是編輯過程受到損害 | 2024-12-20 19:40:10
  • 涮煮燉煎樣樣精通!米家多功能電火鍋6L圖賞 | 2024-12-20 19:41:45
  • 提出不到兩年!英特爾宣佈終止純64位架構x86S計劃 | 2024-12-20 19:41:46
  • 蘋果獲MacBook Pro設計新專利 探索可拆卸攝像頭和螢幕 | 2024-12-20 19:41:48
  • vivo Pad4 Pro部分配置曝光 有望成首款搭載天璣9400平板 | 2024-12-20 19:41:50
  • 聯想捲簾屏筆記本照片曝光 螢幕可擴充套件至兩倍大小 | 2024-12-20 19:41:51
  • ASML,今年賣了多少光刻機? | 2024-12-20 19:51:01
  • 劇透:拓竹2025新3D印表機將支援金屬線材?人人都可以居家“打鐵” | 2024-12-20 20:21:17
  • 陳淑莉:聯想武漢產業基地出口額連續9年位居湖北省第一 | 2024-12-20 20:28:19
  • 打破美國保持的世界紀錄!神舟十九號航天員完成出艙,外媒反常點評 | 2024-12-20 20:44:11
  • 英特爾 Arrow Lake 處理器0x114微碼更新號稱可帶來3-8%效能提升 | 2024-12-20 20:55:54
  • 俄自研EUV光刻機曝光:11.2nm光源,每小時可處理60片12吋晶圓 | 2024-12-20 21:25:03
  • 中國工程物理研究院《AFM》:在含能材料中透過有機染料修飾實現準均相催化 | 2024-12-20 21:44:22
  • 國產大飛機新訊息!C939飛機正在預研 | 2024-12-20 22:16:21
  • 中國青年學者一作,登上Science封面!四年連發4篇Nature、Science 正刊! | 2024-12-20 22:36:44
  • 我國 AR-500 無人直升機首次在城市內開展示範應用 | 2024-12-20 22:43:45
  • REDMI首發天璣8400 王騰:REDMI與聯發科聯合打造 | 2024-12-20 22:44:57
  • 日本三和推出插頭可 360° 旋轉的 USB-C 資料線 | 2024-12-20 22:47:18
最近發布
突發!TVB知名女星毫無預警宣佈與未婚夫分手,結束長達八年情 面對被黑,蘭姐強勢迴歸。小菲狀態好轉,發宣告。更多內幕揭曉! 中國男籃決戰日本隊,首發五人曝光,廣東隊大贏家,徐傑第一後衛 孫穎莎奪女單冠軍!採訪謙遜立足拼,劉國樑給中國選手頒獎笑開花 分析 馬威交易取消後的影響:湖人還有什麼選擇?只能等休賽期? 火箭vs猛龍前瞻:範弗裡特有望復出戰舊主,火箭欲終結六連敗 梅西轟動宏都拉斯!當地媒體:這是世紀體育盛事! 登記開啟!金中、29中、13中等校動了! 開年暴擊!南京又一家機構跑路了? TechInsights:AI PC未能提振筆記本市場 2024年僅增長5% 睡覺時突然腿抽筋,就是缺鈣?錯!還有這4個原因,別輕易忽視了 泡泡瑪特又贏麻了!此前被調侃是“境內最大的博彩公司” 再也不用扎手指!5億糖尿病患者有福了 傳《尼爾:機械紀元》續作、新《古墓麗影》今年公佈 有工作經驗的畫素畫師如何寫簡歷? 離譜!Xun被搶3條龍,JDG仍然獲勝!Peyz力挽狂瀾,WBG痛失好局 將耗死在國際空間站?59歲美滯留女宇航員求救:喪失重要身體機能 華為FreeClip耳機玫瑰金開售 開放式聆聽設計 CBA俱樂部杯-山西淘汰北控晉級4強 原帥18分 小紅書上移民的中產:曾經北京七套房, 羨慕海外一張床, 如今卻...... 不可抗力停課2天以上退一半保教費,佛山幼兒園收費新規釋出 紅棉襯醉美,2020番順醉美青餅評測 華為FreeClip耳夾耳機玫瑰金配色開售:1299元 64歲寧波老闆,跨界無數次,給員工發8億,即將擁有第三家IPO? 卡友資訊股東持股情況變動 廣州“城市合夥人”:城市與人才的雙向奔赴 有人說孫穎莎粉絲是飯圈文化的時候 卻有些人用真金白銀愛孫穎莎! 男生剪“短髮”髮型乾淨利落,試試這3款,剪完帥氣提升顏值! 7個臀部訓練最佳動作,打造迷人的蜜桃臀! 偉大的4-2!林詩棟奪冠:新科世界第1誕生、超越王楚欽,狂攬3冠 新疆完美了!新小外強於皮特森+黑根斯,承認補強大外良性競爭! 林詩棟奪男單冠軍!採訪大談不容易太謙遜,單獨拍照露出笑容! 國乒最新戰報!林詩棟第2局11-8,衝3冠王,梁靖崑救2局點仍輸球 替補奇兵!快船大將5記3分助隊贏球 哈登好幫手 爆冷!北控男籃吊打奪冠大熱門球隊,外援決定比賽的走向 官宣離任,胡明軒宣佈重要決定,廣東宏遠遺憾,杜鋒祝福 又一個賈德松!崔康熙看人很準,魯媒:卡約又要錯過中國聯賽了 劉國樑憔悴!黑眼圈很重,擋住蒯曼被提醒,孫穎莎王楚欽被裁判整 林詩棟逆轉梁靖崑奪冠,成就三冠王,綜合實力更加突出 CBA最新外援註冊資訊,遼籃4人,新疆補充新援,廣東男籃放棄萊斯 大滿貫收官獎金排名:林詩棟三冠60萬第1,孫穎莎第2王曼昱10萬第9 臺灣律師分析大S遺產劃分,S媽要錢得看汪小菲臉色,打臉光頭安排 臺媒曝大S家人鬆手,讓出撫養權給汪小菲,希望馬筱梅善待孩子 二線白酒暴雷,狼真的來了! 搭上比亞迪,自動駕駛獨角獸,利潤大增170%! 炸裂!外資吹響“加倉中國”集結號背後:科技格局重塑與資產重估 這波夢幻西遊副本積分兌換真是血虧,四賜福的山賊值得買嗎? 《星戰亡命之徒》高階美工又回到CDPR 開發《巫師4》 《哪吒2》登陸北美,首映禮現好萊塢!有觀眾哭花眼妝:特效超預期,買票靠搶 曝張蘭被封年損失近4億,麻六記絕地自救太壯觀,員工曬張蘭近況

©2024 時時頭條 版權所有

隱私政策 | 服務條款 | 聯繫我們