時時頭條
  • 娛樂
  • 體育
  • 財經
  • 科技
  • 旅遊
  • 軍事
  • 育兒
  • 時尚
  • 遊戲
  • 歷史
  1. 首頁
  2. 科技

打通異構算力之間的高速網路通道是構建多元智算體系的關鍵

2024-11-19 00:43:50

通訊世界網訊息(CWW)大模型時代對算力的需求永無止境,大規模智算中心建設如火如荼。人工智慧技術在各領域應用的快速發展,以及Sora、Gemini1.5 Pro的面世,將進一步提高算力基礎設施的建設要求,啟用算力技術的不斷創新和迭代升級。如今,算力市場已形成龐大的生態系統,涵蓋CPU、GPU、DPU、FPGA等專用晶片,各種形態的交換機、光模組/線纜等連線介質,以及各服務提供商交付的算力運營、算力排程、演算法交易平臺等。對企業而言,如何博各家之所長,構建出多元融合的智算體系,是贏得未來競爭、享受智算紅利的關鍵所在。

異構算力網路成為“必選項”

隨著智算熱度持續提升,以AI為核心的算力需求激增。為實現計算效力最大化,多元異構算力將成為必然趨勢。異構算力體系可以充分發揮各種計算裝置的優勢,為客戶提高智算效率、降低採購成本、提升系統安全性。但在實際應用中,大多數客戶對於智算場景都是初次接觸,並不像傳統ICT基礎設施建設那樣可以輕車熟路地進行規劃、採購、部署。因此,解決異構元件間的互聯問題,是打通整體方案的重要前提,那麼網路是否做好了承擔重任的技術儲備?

用網路打通異構算力的關鍵能力要求

透過數十年資訊科技的發展,乙太網具備拉通和相容多種不同終端的能力,這一點已經被充分驗證。面對智算的異構需求,乙太網一方面需在網路側解決埠密度、裝置形態、通道標準、傳輸介質的擴充套件性和相容性;另一方面需在計算側篩選AI伺服器網絡卡規格,為智算業務提供高效能算力,這種“多元可靠聯接”的能力正是打通異構算力所需要的。

在高效能網路領域,無損乙太網(RoCE)是一個快速普及且被大眾認可的技術,其在成本、未來演進和生態豐富度上具備天然優勢。當RoCE發展到智算網路時代,連線非智慧網絡卡、智慧網絡卡、可程式設計智慧網絡卡等不同能力的網絡卡時,以“場景化網路調優”的模式解決Hash極化問題,降低網路擁堵風險,成為構建智算網路無損能力的關鍵。

此外,智算網路如果脫離了與算力的聯動,那就是孤立、被動的,為確保智算業務平穩有序地發展,網路必須與算力排程平臺聯動起來。而國內大多數算力廠商沒有配套的網路裝置和平臺,因此,想用網路打通異構算力,則必須具備與多家廠商的CCL(集合通訊庫)的相容對接能力,將算力需求轉譯為網路配置,也就是所謂的“異構算網聯動”。

綜上所述,要打通異構算力之間的高速網路通道,必須具備“多元可靠聯接、場景化網路調優、異構算網聯動”三大關鍵能力,這也是算力產業實現創新發展的重中之重。

聚焦異構算力組網痛點,新華三持續賦能智算新時代

作為數字化解決方案領導者,新華三集團始終致力於成為客戶業務創新、數字化轉型值得信賴的合作伙伴。面對網算之間互相協同推進的發展態勢,新華三在“多元可靠聯接、場景化網路調優、異構算網聯動”等方面加速突破,積極探索打通異構算力的開放網路。

●多元可靠聯接

新華三集團進行了豐富的智算產品佈局,提供了開放性、相容性、擴充套件性、穩定性極強的網路環境和端到端異構連線保障,全方位滿足了客戶需求。

新華三長期致力於推動國內高速網路技術的發展,在100G/400G/800G產品的面世時間上都處於國內乃至業界領先地位。在智算場景下,新華三的產品佈局也是業內最豐富的。從產品形態上看,新華三可提供從100G到800G多種形態的框式、盒式產品,埠密度覆蓋完善,能夠滿足不同規模智算客戶的組網需求。從1K GPU到512K GPU的場景下,客戶可以平滑地選用新華三的單框、盒盒、框盒、三層盒盒等不同的組網架構,實現成本與規模的最優匹配。

從綠色節能角度來看,新華三產品可同時支援LPO和液冷技術,LPO技術是指透過裝置內部的訊號穩定器件和設計,替代光模組中的DSP晶片,降低DSP帶來的功耗和時延,亦可規避DSP晶片的供應風險。而液冷技術可將關鍵晶片產生的大量熱量透過液冷帶出裝置,配套的風扇僅用於其他非關鍵器件的散熱,轉速和耗電都將大幅降低。

此外,新華三擁有業界最開放的生態合作環境,各條產品線都採用了多家合作伙伴的交付件,包括GPU、網絡卡、光模組、交換晶片,由此也為新華三帶來了天然優勢——能夠代替客戶驗證異構算力環境的相容性。對客戶而言,選擇異構方案最大的阻力來源於實施效果,能否互聯互通,以及互通後的效能、可靠性是否能支撐業務需求,這是實際存在的風險。而新華三的能力就是利用自身的生態優勢,為客戶提供端到端的異構連線保障,確保客戶從新華三驗證過的交付件庫中選擇GPU、網絡卡、模組、交換機,即可在實際場景中放心互聯。

為此,新華三還設計了一套《智算網路異構連通專項測試》標準,專門用於驗證不同智算元件之間的互通性,豐富的測試例覆蓋瞭如下驗證能力(如圖1所示)。

圖1測試例覆蓋的驗證能力

●場景化網路調優

在“場景化網路調優”方面,新華三集團透過埠對稱Hash技術LBN、動態負載均衡技術DLB(如圖2所示)、鏈路噴灑技術SprayLink、全域性負載均衡技術FGLB等滿足了客戶不同智算場景的技術需求,實現了資料中心超高頻寬利用率的無阻塞轉發。

圖2動態負載均衡技術DLB示意

以“埠對稱Hash技術LBN”為例,對於智算網路中的每一臺裝置而言,網路調優的最終目標,就是下行埠接收的流量,能夠確保透過上行頻寬資源轉發出去。實現這個目標最簡單的方式是為每一個下行口指定一個同速率的上行口,其他下行口的流量不能從該上行口轉發,形成獨佔的上行資源,這項技術即為LBN(如圖3所示)。

圖3 LBN技術示意

當網路和業務規模超出LBN可覆蓋的能力時,需要透過“引入新變數”和“分割單一流”解決Hash極化問題。所謂“引入新變數”,即為在Hash過程中引入出埠負載情況(佇列長度),提升佇列更短的出埠優先順序,就可以將流量更多地分攤到空閒埠上;所謂“分割單一流”,即為在出埠Hash時,針對子流做Hash,引入當前出埠的負載,便可以將不同時間段到達的子流Hash到當前最空閒的埠傳送。

當一條大流連續到達交換機的時候,“鏈路噴灑技術SprayLink”(如圖4所示)的價值便得到了彰顯。SprayLink透過實時監控LACP/ECMP中各物理鏈路的頻寬利用率、出口佇列、快取佔用、傳輸時延等精細化資料,對大流做到基於Per-Packet(逐包)方式的動態負載均衡,將每個資料包分配到當時資源最優的鏈路上。透過實測,採用SprayLink可以使多條鏈路的總頻寬利用率達到95%以上,比傳統H a s h方法提升明顯。但是SprayLink存在流量到達接收端的亂序問題,需要接收端的網絡卡支援亂序重排技術才能匹配。

圖4鏈路噴灑技術SprayLink示意

上述幾種負載均衡技術,看似已完整覆蓋了所有場景,但其只能根據裝置本地的負載情況進行選擇,對於發出的資料在剩餘路徑上的傳輸質量,則沒有判斷依據。而新華三的全域性負載均衡技術FGLB(如圖5所示),能夠讓每臺裝置都擁有全域性視角,瞭解自己介面的下一跳,乃至下一跳到再下一跳的鏈路負載情況,來輔助決策本地的負載結果。

圖5全域性負載均衡技術FGLB示意

眾所周知,實現全場景網路調優是企業提升鏈路效能的關鍵,新華三依託其領先的負載均衡技術,透過豐富的現網實踐,總結出了以下場景化匹配應用建議(如圖6所示)。

圖6場景化匹配應用

●異構算網聯動

在“異構算網聯動”方面,新華三在“調整網絡卡QP能力與網路聯動”“算網主動選路與路徑模擬技術”兩大方面進行了實踐探索。

關於“調整網絡卡QP能力與網路聯動”(如圖7所示),新華三透過識別不同網絡卡的樣本能力(QP規格),結合當前網路可用路徑數量和頻寬的資源,以及自研的演算法,提供了一種端到端的負載最佳化機制。當訓練任務開始時,兩張網絡卡之間建立資料連線,在AI伺服器內部的agent就將報文特徵等資訊傳遞到控制器,同時控制器根據當前網路的資源,設定網絡卡的QP規格,為一對Peer建立多對QP,解決路徑中裝置Hash不均問題。

圖7調整網絡卡QP能力與網路聯動示意

關於“算網主動選路與路徑模擬技術”(如圖8所示),新華三透過算網協同機制,實現了一種主動選路的功能。當一個CCL發起新的互通請求時,新華三的網路分析器會收集當前所有鏈路流量負載情況,並根據自研的智慧選路演算法,選出對於該互通連線最高效的路徑,將配置下發到交換機,實現按策略的轉發,避免傳統路由協議選路條件粗放的問題。同時新華三還提供路徑模擬能力,對於主動選路效果,可以在分析器內部透過NFV的形式進行真實流量模擬,來驗證策略下發效果,驗證後再下發到真實裝置上。

圖8算網主動選路與路徑模擬技術示意

面向未來,在算力爆發的時代,新華三集團將始終秉承開放共贏的理念,透過多元可靠聯接、場景化網路調優、異構算網聯動三大核心能力,解決客戶在異構算力組網過程中遇到的各種問題,與生態合作伙伴、行業客戶一起,打造繁榮、開放的智算生態體系。

熱門資訊
  • 深度長文:量子世界為何如此詭異?完全顛覆你我的世界觀! | 2024-02-16 19:11:18
  • 在火星上引爆氫彈讓其升溫成宜居星球?還有更好更簡單的方法! | 2024-02-16 19:11:22
  • 爆料:摺疊屏iPhone產品研發進度加快! | 2024-02-16 19:12:11
  • 手機大模型開卷,但劃時代的改變還沒到來 | 2024-02-16 19:59:06
  • 比國內貴1500元!高階市場遠超蘋果、三星,一加國外撈金國內砸錢 | 2024-02-16 19:59:10
  • 別用大米吸水了 蘋果官方公佈進水處理方法 | 2024-02-16 19:59:15
  • 蘋果Vision Pro遭遇退貨潮:四大原因總結,是蘋果不行了嗎? | 2024-02-16 20:50:32
  • iPhone進水怎麼辦?蘋果:千萬別放米袋,細小米粒可能會損壞手機 | 2024-02-16 20:50:35
  • 配置很強但價格或將暴漲,小米14 Ultra渲染圖來了 | 2024-02-16 20:50:38
  • 地外生命是否存在?類地球起源是否合理?且看科學家論道 | 2024-02-16 20:50:44
  • 蘋果被曝大批退貨!發生了什麼? | 2024-02-16 20:56:25
  • 我國捷龍四號火箭規劃中,500 公里太陽同步軌道運載能力 2.5 噸 | 2024-02-16 21:31:20
  • 化學之大成者:勇敢且無畏! | 2024-02-16 21:31:26
  • 新春寄語 | 周成虎院士 | 2024-02-16 21:31:30
  • 蘋果新專利: Apple Watch可監測汗液追蹤運動資料 | 2024-02-16 21:38:41
  • 酷冷至尊推出 NR200P V2 機箱,升級支援 356mm 長顯示卡 | 2024-02-16 22:15:54
  • 重磅!Core i9-14900KS已曝光,最高執行頻率可達6.2GHz | 2024-02-16 22:26:31
  • 訊息稱英特爾酷睿 i9-14900KS 旗艦處理器 3 月中旬上市 | 2024-02-16 22:28:54
  • 美國爆出5G專網大單!AT&T與FirstNet宣佈80億美元投資 | 2024-02-16 22:42:22
  • 迷你主機潛力不小,微星海皇戟S造型不錯,3699元可配32GB記憶體 | 2024-02-16 23:18:11
  • 蘋果報價20美元!京東方、天馬、三星爭搶iPhone SE4 OLED訂單 | 2024-02-16 23:18:16
  • 蘋果iOS17.4.3已升級兩天,確定訊號改善了,值得升級 | 2024-02-16 23:20:36
  • 一個驚人的宇宙景象 | 2024-02-16 23:21:04
  • 探月不簡單!還得看中國,日本印度勉強成功!嫦娥六號將創造歷史 | 2024-02-16 23:22:12
  • 美國又一款重型火箭上了發射臺,運力超過兩發“胖五”,還能複用 | 2024-02-16 23:42:33
  • vivo X Fold3 系列曝光:全系50MP超大底主攝,螢幕解析度升級 | 2024-02-17 00:10:13
  • 科學家發現分子高激發態漫遊反應通道 | 2024-02-17 00:14:20
  • 榮耀終於妥協,釋出僅三個月再度跌至新低,16GB+1TB+驍龍8Gen2 | 2024-02-17 00:17:47
  • 小米再現“價格屠夫”,釋出五個月跌至1909元,16GB+512GB+IP68 | 2024-02-17 00:17:51
  • SpaceX發射美國私人月球著陸器,一週內抵達月表 | 2024-02-17 00:23:22
最近發布
突發!TVB知名女星毫無預警宣佈與未婚夫分手,結束長達八年情 面對被黑,蘭姐強勢迴歸。小菲狀態好轉,發宣告。更多內幕揭曉! 中國男籃決戰日本隊,首發五人曝光,廣東隊大贏家,徐傑第一後衛 孫穎莎奪女單冠軍!採訪謙遜立足拼,劉國樑給中國選手頒獎笑開花 分析 馬威交易取消後的影響:湖人還有什麼選擇?只能等休賽期? 火箭vs猛龍前瞻:範弗裡特有望復出戰舊主,火箭欲終結六連敗 梅西轟動宏都拉斯!當地媒體:這是世紀體育盛事! 登記開啟!金中、29中、13中等校動了! 開年暴擊!南京又一家機構跑路了? TechInsights:AI PC未能提振筆記本市場 2024年僅增長5% 睡覺時突然腿抽筋,就是缺鈣?錯!還有這4個原因,別輕易忽視了 泡泡瑪特又贏麻了!此前被調侃是“境內最大的博彩公司” 再也不用扎手指!5億糖尿病患者有福了 傳《尼爾:機械紀元》續作、新《古墓麗影》今年公佈 有工作經驗的畫素畫師如何寫簡歷? 離譜!Xun被搶3條龍,JDG仍然獲勝!Peyz力挽狂瀾,WBG痛失好局 將耗死在國際空間站?59歲美滯留女宇航員求救:喪失重要身體機能 華為FreeClip耳機玫瑰金開售 開放式聆聽設計 CBA俱樂部杯-山西淘汰北控晉級4強 原帥18分 小紅書上移民的中產:曾經北京七套房, 羨慕海外一張床, 如今卻...... 不可抗力停課2天以上退一半保教費,佛山幼兒園收費新規釋出 紅棉襯醉美,2020番順醉美青餅評測 華為FreeClip耳夾耳機玫瑰金配色開售:1299元 64歲寧波老闆,跨界無數次,給員工發8億,即將擁有第三家IPO? 卡友資訊股東持股情況變動 廣州“城市合夥人”:城市與人才的雙向奔赴 有人說孫穎莎粉絲是飯圈文化的時候 卻有些人用真金白銀愛孫穎莎! 男生剪“短髮”髮型乾淨利落,試試這3款,剪完帥氣提升顏值! 7個臀部訓練最佳動作,打造迷人的蜜桃臀! 偉大的4-2!林詩棟奪冠:新科世界第1誕生、超越王楚欽,狂攬3冠 新疆完美了!新小外強於皮特森+黑根斯,承認補強大外良性競爭! 林詩棟奪男單冠軍!採訪大談不容易太謙遜,單獨拍照露出笑容! 國乒最新戰報!林詩棟第2局11-8,衝3冠王,梁靖崑救2局點仍輸球 替補奇兵!快船大將5記3分助隊贏球 哈登好幫手 爆冷!北控男籃吊打奪冠大熱門球隊,外援決定比賽的走向 官宣離任,胡明軒宣佈重要決定,廣東宏遠遺憾,杜鋒祝福 又一個賈德松!崔康熙看人很準,魯媒:卡約又要錯過中國聯賽了 劉國樑憔悴!黑眼圈很重,擋住蒯曼被提醒,孫穎莎王楚欽被裁判整 林詩棟逆轉梁靖崑奪冠,成就三冠王,綜合實力更加突出 CBA最新外援註冊資訊,遼籃4人,新疆補充新援,廣東男籃放棄萊斯 大滿貫收官獎金排名:林詩棟三冠60萬第1,孫穎莎第2王曼昱10萬第9 臺灣律師分析大S遺產劃分,S媽要錢得看汪小菲臉色,打臉光頭安排 臺媒曝大S家人鬆手,讓出撫養權給汪小菲,希望馬筱梅善待孩子 二線白酒暴雷,狼真的來了! 搭上比亞迪,自動駕駛獨角獸,利潤大增170%! 炸裂!外資吹響“加倉中國”集結號背後:科技格局重塑與資產重估 這波夢幻西遊副本積分兌換真是血虧,四賜福的山賊值得買嗎? 《星戰亡命之徒》高階美工又回到CDPR 開發《巫師4》 《哪吒2》登陸北美,首映禮現好萊塢!有觀眾哭花眼妝:特效超預期,買票靠搶 曝張蘭被封年損失近4億,麻六記絕地自救太壯觀,員工曬張蘭近況

©2024 時時頭條 版權所有

隱私政策 | 服務條款 | 聯繫我們