時時頭條
  • 娛樂
  • 體育
  • 財經
  • 科技
  • 旅遊
  • 軍事
  • 育兒
  • 時尚
  • 遊戲
  • 歷史
  1. 首頁
  2. 科技

搭建數推分離雙網路架構,「雙腦」大模型一體機突破落地算力瓶頸|早期專案

2024-11-30 15:39:48

作者|黃楠

編輯|袁斯來

在大模型技術浪潮中,Scaling Law被業界遵循為第一性原理,直至科技媒體The Information在獨家報道中指出,OpenAI下一代旗艦模型Orion的訓練效果或遠不及預期:與GPT-4相比,效能提升也許微乎其微。這引發了從業者對大模型發展路徑的深度思考:Scaling Law是否是唯一方向?

長期以來,基於Scaling Law的大模型落地存在重大瓶頸,廠商為提升模型能力,持續擴大預訓練資料、訓練算力並擴大模型引數規模,不僅成本高;同時,演算法同質化也會導致資料規模和訓練算力的同質化,最終造成輸出能力的趨同。另一側,大模型能否有效學習客戶資料併成為領域專家,也是一大挑戰。

當前,單一依賴Scaling Law進行集中式暴力訓練已顯露諸多弊端。大模型的“智慧”並非僅受引數規模決定,大模型如何在實際場景中發揮作用,才是企業客戶關注的焦點。要打破模型到應用落地之間的高牆,硬氪近日接觸到的「傳神物聯網」提出,集中式預訓練模式值得重新審視,實時學習和訓練模式更具探索價值。

「傳神物聯網」董事長何恩培指出,大模型在相同引數下,模型演算法和架構更先進,所需訓練算力越小,訓練資料也越少,不僅不影響模型的能力,甚至在部分指標上可超越常規架構大引數的模型。“相比之下,這種採用高效演算法和架構的小引數模型更適合商業落地,而且也可以滿足通用場景的需求。”

傳神創始人何恩培就《基於雙網路架構數推分離大模型的探索與實踐》發表主題演講

基於這一理念,「傳神物聯網」在其釋出的任度大模型,採用了全技術棧自主研發、未使用任何開原始碼和框架的雙網路架構,將推理網路與資料學習網路分離。

其中,客戶資料學習網路如同人類左腦,專注於資料的動態管理與迭代訓練,持續為模型注入知識養分;推理網路則如同人類右腦,作為經大量資料預訓練的基礎網路,具備不錯的推理和泛化能力。

這種雙網路協同工作的設計,可有效降低訓練的算力成本,避免微調導致的基座模型能力退化和泛化能力減弱等問題。同時,資料學習網路還可以學習企業的歷史資料,並實時學習業務運營產生的新資料,兩個網路聯合工作,輸出客戶所需成果。

測試顯示,任度大模型基於數推分離技術,突破了常規大模型技術架構限制,上下文輸入長度不受限,可將億量級使用者資料壓縮至神經網路中,並進行深度知識理解,極為接近 “實時” 資料學習模式。即使是極少量資料更新,也能快速上傳並完成資料壓縮,迭代為企業自己的定製化大模型。

任度大模型共有2.1B和9B兩個版本,在降低算力成本方面,其訓練與推理時的算力成本分別為同等大模型的10%-20%以及25%-50%。

硬氪瞭解到,目前「傳神物聯網」已將雙網路架構的數推分離大模型應用至任度“雙腦”大模型一體機,即將投放市場。該一體機基於數推分離的雙腦模式,可以解決客戶資料離場訓練、向量效果有限及人才投入高等痛點,實現更新資料的本地實時學習,並快速轉化為“企業知識專家”。

針對客戶資料安全和私有化問題,任度“雙腦”大模型一體機可採用本地部署及訓練,無需上傳至公有云,保障了資料隱私安全。同時,其根原創和高性參比的特性,可在一定程度上解決客戶應用大模型過程中的高硬體投入、高能耗及技術安全和軟體漏洞等痛點。

熱門資訊
  • NVIDIA "Blackwell Ultra" GB300 AI 伺服器預計將於 2025 年年中亮相 | 2024-12-02 20:48:04
  • 榮耀親選小湃室外攝像頭 i 釋出:3K 全景視野,到手價 219 元 | 2024-12-02 20:48:40
  • 微軟因Copilot+ PC效能宣傳而受到X的事實核查 | 2024-12-02 20:56:17
  • 5099元起 榮耀筆記本X16 Plus正式釋出!首批搭載Intel酷睿5 220H | 2024-12-02 20:56:19
  • 煤基航天煤油助力長十二首飛 | 2024-12-02 20:57:02
  • 極度未知 天跡 2 無線降噪遊戲耳機上市,1499 元 | 2024-12-02 21:05:01
  • 榮耀親選 LCHSE 耳夾式耳機發布,售價 399 元 | 2024-12-02 21:05:05
  • 榮耀 EarBuds X8 無線耳機發布,售價 299 元 | 2024-12-02 21:11:41
  • 陸續切斷中國供應鏈,全球半導體脫鉤傷害的是誰 | 2024-12-02 21:23:36
  • 又是國產!平板電腦市場回暖,教育賽道衝出一匹黑馬! | 2024-12-02 21:29:22
  • 實現重要概念突破!MIT中國博後研製超高效3D電晶體 | 2024-12-02 21:41:04
  • 中國突破衝壓轉子爆震發動機?網傳H-20就是在等這種發動機! | 2024-12-02 21:41:13
  • 2024年中國無人機行業飛控市場概述 飛控系統充當無人機“大腦”(組圖) | 2024-12-02 21:41:17
  • 2035年!我國下一代北斗系統將至,明年將完成關鍵技術攻關 | 2024-12-02 21:41:22
  • 這些晶片,被看好! | 2024-12-02 22:34:05
  • 全球半導體的最大“天敵” | 2024-12-02 22:58:29
  • 2024 量子科技與產業大會|中國電信科技“量”點綻通訊華芒 | 2024-12-02 23:06:28
  • 《Nature》重磅:幹細胞能殺死“殭屍細胞”,斷崖式衰老有救了! | 2024-12-02 23:07:57
  • 從首飛看未來 商業航天大有可為 | 2024-12-02 23:14:05
  • 無人機都能送外賣了!是誰在支撐低空經濟快速發展呢? | 2024-12-02 23:14:10
  • 諾貝爾物理學獎得主迪迪埃·奎洛茲教授走進西工大 | 2024-12-02 23:18:32
  • 四川大學在讀博士生以第一作者身份在《PNAS》上發文揭示植物光形態建成的新機制 | 2024-12-02 23:23:21
  • 對話世界頂尖科學家 | 楊曉虹:人類有望十年內控制癌症 | 2024-12-02 23:45:27
  • 聚焦量子大會| 量子科技浪潮已至 產業協同踏浪前行 | 2024-12-03 00:22:34
  • 特斯拉更新Apple Watch應用程式 帶來副駕座位放屁惡作劇 | 2024-12-03 01:00:25
  • 美國第一個載人航天計劃——水星計劃 | 2024-12-03 01:46:58
  • 清華UCSD提出全新微調方法,8B小模型媲美GPT-4o!科學問題正確率提高28% | 2024-12-03 03:22:14
  • 中俄科學家研製出抗極寒材料:-150℃環境下仍能保持機械效能 | 2024-12-03 04:22:43
  • 如何殺死癌細胞?斯坦福醫學院:騙它開啟自毀 | 2024-12-03 04:50:59
  • 港媒:中國學術實力增強吸引頂尖科學家 | 2024-12-03 04:51:01
最近發布
突發!TVB知名女星毫無預警宣佈與未婚夫分手,結束長達八年情 面對被黑,蘭姐強勢迴歸。小菲狀態好轉,發宣告。更多內幕揭曉! 中國男籃決戰日本隊,首發五人曝光,廣東隊大贏家,徐傑第一後衛 孫穎莎奪女單冠軍!採訪謙遜立足拼,劉國樑給中國選手頒獎笑開花 分析 馬威交易取消後的影響:湖人還有什麼選擇?只能等休賽期? 火箭vs猛龍前瞻:範弗裡特有望復出戰舊主,火箭欲終結六連敗 梅西轟動宏都拉斯!當地媒體:這是世紀體育盛事! 登記開啟!金中、29中、13中等校動了! 開年暴擊!南京又一家機構跑路了? TechInsights:AI PC未能提振筆記本市場 2024年僅增長5% 睡覺時突然腿抽筋,就是缺鈣?錯!還有這4個原因,別輕易忽視了 泡泡瑪特又贏麻了!此前被調侃是“境內最大的博彩公司” 再也不用扎手指!5億糖尿病患者有福了 傳《尼爾:機械紀元》續作、新《古墓麗影》今年公佈 有工作經驗的畫素畫師如何寫簡歷? 離譜!Xun被搶3條龍,JDG仍然獲勝!Peyz力挽狂瀾,WBG痛失好局 將耗死在國際空間站?59歲美滯留女宇航員求救:喪失重要身體機能 華為FreeClip耳機玫瑰金開售 開放式聆聽設計 CBA俱樂部杯-山西淘汰北控晉級4強 原帥18分 小紅書上移民的中產:曾經北京七套房, 羨慕海外一張床, 如今卻...... 不可抗力停課2天以上退一半保教費,佛山幼兒園收費新規釋出 紅棉襯醉美,2020番順醉美青餅評測 華為FreeClip耳夾耳機玫瑰金配色開售:1299元 64歲寧波老闆,跨界無數次,給員工發8億,即將擁有第三家IPO? 卡友資訊股東持股情況變動 廣州“城市合夥人”:城市與人才的雙向奔赴 有人說孫穎莎粉絲是飯圈文化的時候 卻有些人用真金白銀愛孫穎莎! 男生剪“短髮”髮型乾淨利落,試試這3款,剪完帥氣提升顏值! 7個臀部訓練最佳動作,打造迷人的蜜桃臀! 偉大的4-2!林詩棟奪冠:新科世界第1誕生、超越王楚欽,狂攬3冠 新疆完美了!新小外強於皮特森+黑根斯,承認補強大外良性競爭! 林詩棟奪男單冠軍!採訪大談不容易太謙遜,單獨拍照露出笑容! 國乒最新戰報!林詩棟第2局11-8,衝3冠王,梁靖崑救2局點仍輸球 替補奇兵!快船大將5記3分助隊贏球 哈登好幫手 爆冷!北控男籃吊打奪冠大熱門球隊,外援決定比賽的走向 官宣離任,胡明軒宣佈重要決定,廣東宏遠遺憾,杜鋒祝福 又一個賈德松!崔康熙看人很準,魯媒:卡約又要錯過中國聯賽了 劉國樑憔悴!黑眼圈很重,擋住蒯曼被提醒,孫穎莎王楚欽被裁判整 林詩棟逆轉梁靖崑奪冠,成就三冠王,綜合實力更加突出 CBA最新外援註冊資訊,遼籃4人,新疆補充新援,廣東男籃放棄萊斯 大滿貫收官獎金排名:林詩棟三冠60萬第1,孫穎莎第2王曼昱10萬第9 臺灣律師分析大S遺產劃分,S媽要錢得看汪小菲臉色,打臉光頭安排 臺媒曝大S家人鬆手,讓出撫養權給汪小菲,希望馬筱梅善待孩子 二線白酒暴雷,狼真的來了! 搭上比亞迪,自動駕駛獨角獸,利潤大增170%! 炸裂!外資吹響“加倉中國”集結號背後:科技格局重塑與資產重估 這波夢幻西遊副本積分兌換真是血虧,四賜福的山賊值得買嗎? 《星戰亡命之徒》高階美工又回到CDPR 開發《巫師4》 《哪吒2》登陸北美,首映禮現好萊塢!有觀眾哭花眼妝:特效超預期,買票靠搶 曝張蘭被封年損失近4億,麻六記絕地自救太壯觀,員工曬張蘭近況

©2024 時時頭條 版權所有

隱私政策 | 服務條款 | 聯繫我們