時時頭條
  • 娛樂
  • 體育
  • 財經
  • 科技
  • 旅遊
  • 軍事
  • 育兒
  • 時尚
  • 遊戲
  • 歷史
  1. 首頁
  2. 科技

精度與通用性不可兼得,北大華為證明低精度下scaling law難以實現

2024-11-18 19:44:03

AIxiv專欄是機器之心釋出學術、技術內容的欄目。過去數年,機器之心AIxiv專欄接收報道了2000多篇內容,覆蓋全球各大高校與企業的頂級實驗室,有效促進了學術交流與傳播。如果您有優秀的工作想要分享,歡迎投稿或者聯絡報道。投稿郵箱:[email protected];[email protected]

本工作來自北京大學智慧學院王立威、賀笛老師課題組與華為諾亞方舟實驗室李震國、孫嘉城研究員。作者包括智慧學院博士生馮古豪、古云天、羅勝傑;資訊科學技術學院本科生楊鎧、艾心玥。

大模型量化透過將模型引數從較高的精度(如 bfoat16)壓縮到低精度(如 int8 或 int4)來降低模型推理的開銷,提高模型推理的速度。在大語言模型的實際部署中,量化技術能夠顯著提高大語言模型推理的效率。但近日,來自哈佛大學,MIT,CMU,斯坦福大學和 Databricks 的研究團隊透過大量實驗總結出了大語言模型關於精度的 Scaling Law,實驗發現模型的量化壓縮會較大影響大語言模型的效能。

無獨有偶,來自北大和華為的研究團隊近期則從理論角度研究了量化對於大模型通用性的影響。具體而言,研究者關注了量化對於大模型數學推理能力的影響。其研究理論表明足夠的模型精度是大模型解決基本數學任務的重要前提,而量化會大大降低大模型在基本數學任務上的表現,甚至提升足夠引數量也無法彌補。

論文連結:https://arxiv.org/abs/2410.13857

量化降低了模型的基本數學能力

數學推理能力是大語言模型的一項重要能力,也是大語言模型走向通用人工智慧的關鍵能力之一。然而,相較於經典的任務,數學推理往往需要嚴格的邏輯和準確的中間結果。在各種各樣的數學推理任務中,算術能力是大語言模型解決各類複雜的數學問題的基礎。更需要注意的是,大模型在處理數值的時候,會將一個數 “切分” 成一段一段的數字,例如:數字 1234.5678 在大模型中可能被編碼為 “12” “34” “.” “56” “78”,如此編碼後的資訊是否可以被正確理解進而完成算術任務也是一個疑問。

本工作研究者以基本的算術能力為切入點,研究了不同精度的 Transformer 在解決基本數學任務上的能力差異。下圖展示了一些相應的例子。為了反映大模型對長數字的實際解碼方式,在這些任務中,運算數中的每一數位均以一個獨立的 token 作為大模型的輸入,大模型的輸出也是從高位往低位逐數位地輸出。

在本工作中,研究者分別使用對數精度 Transformer 和常數精度 Transformer 的理論模型來刻畫標準精度大語言模型和量化後的低精度大語言模型。其中,對數精度指的是 Transformer 內部單個的神經元至多能夠儲存由O(logn)位元表示的實數,這裡n指的是模型所能處理的最大序列長度。而常數精度指的是 Transformer 內部單個的神經元只能夠儲存至多c位元表示的實數,這裡的c是一個與序列長度無關的小常數。這裡,實數可以由定點數或者浮點數格式表示。

當前主流的大語言模型,包括 GPT 系列、Claude 系列或者開源的 LLAMA 系列,能夠處理的最大序列長度一般在 4k 到 128k 不等。在這樣的序列規模下,對數精度和常數精度較好地刻畫了量化前後的精度差異。

之前的研究結果表明,標準精度 Transformer 具備解決這些基本算術任務的能力。這表明合適的精度能夠保證大模型具有解決相應基本數學任務的能力。然而本工作理論證明當大語言模型經過量化、精度降低後,模型的能力受到了顯著的影響。當使用低精度模型時,模型在多整數相加、整數相乘的任務上需要超多項式的模型引數量。這表明當精度不足時,即便充分增大模型尺寸 (scaling parameters),其也難以獲得完成這些基本算術任務的能力。

下表總結了相應的理論結果,表明了不同精度下各基本算術任務所需模型寬度的理論結果。其中,藍色代表模型可以在較小的尺寸內解決相應的任務,而紅色代表模型無法在可接受的尺寸內解決相應的問題。可以發現,標準精度的大語言模型能夠輕鬆解決算術的任務,然而經過量化後低精度的大模型,在解決基本算術任務上的能力出現了明顯的缺失。

實驗驗證

除了理論推導,研究者進行了大量實驗來驗證理論結果。研究者在算術運算的資料集上訓練了一系列小模型,在小模型上的訓練結果表明,在多整數相加和整數相乘任務上,提升精度能夠使相同尺寸的模型解決更大規模的問題。

此外,研究者還在 LLaMA3.1-8B 模型上進一步進行了一些系列實驗,實驗結果同樣證實,在使用 int4 進行量化之後,在大語言模型各基本算術任務上的表現均出現了相應的下降。對於最為困難的整數相乘任務,其效能下降最為明顯。

總而言之,模型的量化壓縮會明顯損害大語言模型在數學推理問題上的效能,為了解決複雜的數學推理問題,足夠的精度是必不可少的。這也說明,在實際部署大語言模型的過程中,不能夠一味追求量化帶來的效率,也要考慮到應用場景,採用合適的部署策略,同時兼顧大語言模型的實際效能和執行效率。

熱門資訊
  • ASIC火爆,科技巨頭角逐3奈米專案!大摩:臺積電將參與所有生產,世芯電子上升空間更大 | 2024-12-20 04:08:15
  • 海關資訊暗示英特爾 CLAMSHELL 設計 BMG-G21 顯示卡,或為雙倍視訊記憶體 | 2024-12-20 04:36:53
  • 一箭四星發射成功,“天啟星座”目前已發射33顆衛星 | 2024-12-20 04:39:46
  • 這款無線滑鼠可用作擴充套件塢 提供 HDMI和USB-C介面 | 2024-12-20 05:16:51
  • 最古老的現代人類基因組 | 2024-12-20 05:25:13
  • 人工耳蝸國採首輪報價結果出爐,美笛樂、領先仿生、力聲特擬中選 | 2024-12-20 05:44:36
  • 反超日本!中國率先開設“幹細胞抗衰門診”,已有頂級富豪掛號 | 2024-12-20 05:46:16
  • 集邦諮詢:蘋果 Vision Pro 將重塑 VR/MR 頭顯戰局 | 2024-12-20 06:43:25
  • 社評:中國太空行走破紀錄,世界從中看到什麼 | 2024-12-20 06:44:22
  • 不用少吃,也能抗衰延壽!林聖彩院士連發兩篇Nature,發現模擬熱量限制作用的關鍵分子! | 2024-12-20 06:44:23
  • 環球晶圓將從《晶片法案》獲得4.06億美元,以促進300mm晶圓的供應 | 2024-12-20 06:45:39
  • 港大、北大、南科大聯手!用“膠帶”,撕出一篇Nature! | 2024-12-20 06:45:44
  • 蘋果專利探索 MacBook攝像頭方案:突破輕薄限制、可拆卸模組設計 | 2024-12-20 07:17:04
  • 華碩推出 NUC 14 Pro AI 迷你主機,搭酷睿第二代 Ultra 處理器 | 2024-12-20 07:17:06
  • 除了位元組和騰訊,蘋果也在與智譜談判使用其大模型 | 2024-12-20 07:21:09
  • 12月19日外媒科學網站摘要:少吃為何延緩衰老?中國科學家發現關鍵分子 | 2024-12-20 07:21:10
  • 位元組緊急釋出了一個警示 | 2024-12-20 07:21:12
  • SpaceX星艦再次獲得發射許可,下月升空,明年最多試飛24次 | 2024-12-20 07:21:17
  • 微軟成為今年英偉達Hopper產品最大買家,電力供應限制資料中心發展 | 2024-12-20 07:24:06
  • 第六代聯想ThinkBook Plus卷軸屏筆電渲染圖曝光,或CES 2025釋出 | 2024-12-20 07:26:23
  • 為Sora氪金200美元后,他們後悔了 | 2024-12-20 07:28:01
  • 湖南科技大學陳建教授團隊《AFM》:用於可重寫資訊加密和防偽的可程式設計超分子熒光聚合物 | 2024-12-20 07:28:07
  • 蘋果Mac使用者狂喜!ChatGPT深度整合應用,最後再藏AGI彩蛋 | 2024-12-20 07:35:35
  • 拜登擬對成熟製程晶片啟動 301 調查 | 2024-12-20 07:40:40
  • 為世界帶來等離子螢幕的北卡羅來納州立大學教授Donald Bitzer逝世 享年90歲 | 2024-12-20 07:48:04
  • 馬斯克困於美國 | 2024-12-20 07:49:05
  • 中國電信申請檢測簡訊使用者異常行為專利,降低誤檢機率 | 2024-12-20 07:52:34
  • 能效高達67%!美光首創E3.S封裝60TB SSD | 2024-12-20 07:59:27
  • 交銀金租首架C919飛機交付南航 | 2024-12-20 08:02:32
  • UEFI 2.11和PI 1.9規範正式釋出:新增支援國產架構龍芯LoongArch | 2024-12-20 08:03:23
最近發布
突發!TVB知名女星毫無預警宣佈與未婚夫分手,結束長達八年情 面對被黑,蘭姐強勢迴歸。小菲狀態好轉,發宣告。更多內幕揭曉! 中國男籃決戰日本隊,首發五人曝光,廣東隊大贏家,徐傑第一後衛 孫穎莎奪女單冠軍!採訪謙遜立足拼,劉國樑給中國選手頒獎笑開花 分析 馬威交易取消後的影響:湖人還有什麼選擇?只能等休賽期? 火箭vs猛龍前瞻:範弗裡特有望復出戰舊主,火箭欲終結六連敗 梅西轟動宏都拉斯!當地媒體:這是世紀體育盛事! 登記開啟!金中、29中、13中等校動了! 開年暴擊!南京又一家機構跑路了? TechInsights:AI PC未能提振筆記本市場 2024年僅增長5% 睡覺時突然腿抽筋,就是缺鈣?錯!還有這4個原因,別輕易忽視了 泡泡瑪特又贏麻了!此前被調侃是“境內最大的博彩公司” 再也不用扎手指!5億糖尿病患者有福了 傳《尼爾:機械紀元》續作、新《古墓麗影》今年公佈 有工作經驗的畫素畫師如何寫簡歷? 離譜!Xun被搶3條龍,JDG仍然獲勝!Peyz力挽狂瀾,WBG痛失好局 將耗死在國際空間站?59歲美滯留女宇航員求救:喪失重要身體機能 華為FreeClip耳機玫瑰金開售 開放式聆聽設計 CBA俱樂部杯-山西淘汰北控晉級4強 原帥18分 小紅書上移民的中產:曾經北京七套房, 羨慕海外一張床, 如今卻...... 不可抗力停課2天以上退一半保教費,佛山幼兒園收費新規釋出 紅棉襯醉美,2020番順醉美青餅評測 華為FreeClip耳夾耳機玫瑰金配色開售:1299元 64歲寧波老闆,跨界無數次,給員工發8億,即將擁有第三家IPO? 卡友資訊股東持股情況變動 廣州“城市合夥人”:城市與人才的雙向奔赴 有人說孫穎莎粉絲是飯圈文化的時候 卻有些人用真金白銀愛孫穎莎! 男生剪“短髮”髮型乾淨利落,試試這3款,剪完帥氣提升顏值! 7個臀部訓練最佳動作,打造迷人的蜜桃臀! 偉大的4-2!林詩棟奪冠:新科世界第1誕生、超越王楚欽,狂攬3冠 新疆完美了!新小外強於皮特森+黑根斯,承認補強大外良性競爭! 林詩棟奪男單冠軍!採訪大談不容易太謙遜,單獨拍照露出笑容! 國乒最新戰報!林詩棟第2局11-8,衝3冠王,梁靖崑救2局點仍輸球 替補奇兵!快船大將5記3分助隊贏球 哈登好幫手 爆冷!北控男籃吊打奪冠大熱門球隊,外援決定比賽的走向 官宣離任,胡明軒宣佈重要決定,廣東宏遠遺憾,杜鋒祝福 又一個賈德松!崔康熙看人很準,魯媒:卡約又要錯過中國聯賽了 劉國樑憔悴!黑眼圈很重,擋住蒯曼被提醒,孫穎莎王楚欽被裁判整 林詩棟逆轉梁靖崑奪冠,成就三冠王,綜合實力更加突出 CBA最新外援註冊資訊,遼籃4人,新疆補充新援,廣東男籃放棄萊斯 大滿貫收官獎金排名:林詩棟三冠60萬第1,孫穎莎第2王曼昱10萬第9 臺灣律師分析大S遺產劃分,S媽要錢得看汪小菲臉色,打臉光頭安排 臺媒曝大S家人鬆手,讓出撫養權給汪小菲,希望馬筱梅善待孩子 二線白酒暴雷,狼真的來了! 搭上比亞迪,自動駕駛獨角獸,利潤大增170%! 炸裂!外資吹響“加倉中國”集結號背後:科技格局重塑與資產重估 這波夢幻西遊副本積分兌換真是血虧,四賜福的山賊值得買嗎? 《星戰亡命之徒》高階美工又回到CDPR 開發《巫師4》 《哪吒2》登陸北美,首映禮現好萊塢!有觀眾哭花眼妝:特效超預期,買票靠搶 曝張蘭被封年損失近4億,麻六記絕地自救太壯觀,員工曬張蘭近況

©2024 時時頭條 版權所有

隱私政策 | 服務條款 | 聯繫我們