通訊世界網訊息(CWW)大模型時代對算力的需求永無止境,大規模智算中心建設如火如荼。人工智慧技術在各領域應用的快速發展,以及Sora、Gemini1.5 Pro的面世,將進一步提高算力基礎設施的建設要求,啟用算力技術的不斷創新和迭代升級。如今,算力市場已形成龐大的生態系統,涵蓋CPU、GPU、DPU、FPGA等專用晶片,各種形態的交換機、光模組/線纜等連線介質,以及各服務提供商交付的算力運營、算力排程、演算法交易平臺等。對企業而言,如何博各家之所長,構建出多元融合的智算體系,是贏得未來競爭、享受智算紅利的關鍵所在。
異構算力網路成為“必選項”
隨著智算熱度持續提升,以AI為核心的算力需求激增。為實現計算效力最大化,多元異構算力將成為必然趨勢。異構算力體系可以充分發揮各種計算裝置的優勢,為客戶提高智算效率、降低採購成本、提升系統安全性。但在實際應用中,大多數客戶對於智算場景都是初次接觸,並不像傳統ICT基礎設施建設那樣可以輕車熟路地進行規劃、採購、部署。因此,解決異構元件間的互聯問題,是打通整體方案的重要前提,那麼網路是否做好了承擔重任的技術儲備?
用網路打通異構算力的關鍵能力要求
透過數十年資訊科技的發展,乙太網具備拉通和相容多種不同終端的能力,這一點已經被充分驗證。面對智算的異構需求,乙太網一方面需在網路側解決埠密度、裝置形態、通道標準、傳輸介質的擴充套件性和相容性;另一方面需在計算側篩選AI伺服器網絡卡規格,為智算業務提供高效能算力,這種“多元可靠聯接”的能力正是打通異構算力所需要的。
在高效能網路領域,無損乙太網(RoCE)是一個快速普及且被大眾認可的技術,其在成本、未來演進和生態豐富度上具備天然優勢。當RoCE發展到智算網路時代,連線非智慧網絡卡、智慧網絡卡、可程式設計智慧網絡卡等不同能力的網絡卡時,以“場景化網路調優”的模式解決Hash極化問題,降低網路擁堵風險,成為構建智算網路無損能力的關鍵。
此外,智算網路如果脫離了與算力的聯動,那就是孤立、被動的,為確保智算業務平穩有序地發展,網路必須與算力排程平臺聯動起來。而國內大多數算力廠商沒有配套的網路裝置和平臺,因此,想用網路打通異構算力,則必須具備與多家廠商的CCL(集合通訊庫)的相容對接能力,將算力需求轉譯為網路配置,也就是所謂的“異構算網聯動”。
綜上所述,要打通異構算力之間的高速網路通道,必須具備“多元可靠聯接、場景化網路調優、異構算網聯動”三大關鍵能力,這也是算力產業實現創新發展的重中之重。
聚焦異構算力組網痛點,新華三持續賦能智算新時代
作為數字化解決方案領導者,新華三集團始終致力於成為客戶業務創新、數字化轉型值得信賴的合作伙伴。面對網算之間互相協同推進的發展態勢,新華三在“多元可靠聯接、場景化網路調優、異構算網聯動”等方面加速突破,積極探索打通異構算力的開放網路。
●多元可靠聯接
新華三集團進行了豐富的智算產品佈局,提供了開放性、相容性、擴充套件性、穩定性極強的網路環境和端到端異構連線保障,全方位滿足了客戶需求。
新華三長期致力於推動國內高速網路技術的發展,在100G/400G/800G產品的面世時間上都處於國內乃至業界領先地位。在智算場景下,新華三的產品佈局也是業內最豐富的。從產品形態上看,新華三可提供從100G到800G多種形態的框式、盒式產品,埠密度覆蓋完善,能夠滿足不同規模智算客戶的組網需求。從1K GPU到512K GPU的場景下,客戶可以平滑地選用新華三的單框、盒盒、框盒、三層盒盒等不同的組網架構,實現成本與規模的最優匹配。
從綠色節能角度來看,新華三產品可同時支援LPO和液冷技術,LPO技術是指透過裝置內部的訊號穩定器件和設計,替代光模組中的DSP晶片,降低DSP帶來的功耗和時延,亦可規避DSP晶片的供應風險。而液冷技術可將關鍵晶片產生的大量熱量透過液冷帶出裝置,配套的風扇僅用於其他非關鍵器件的散熱,轉速和耗電都將大幅降低。
此外,新華三擁有業界最開放的生態合作環境,各條產品線都採用了多家合作伙伴的交付件,包括GPU、網絡卡、光模組、交換晶片,由此也為新華三帶來了天然優勢——能夠代替客戶驗證異構算力環境的相容性。對客戶而言,選擇異構方案最大的阻力來源於實施效果,能否互聯互通,以及互通後的效能、可靠性是否能支撐業務需求,這是實際存在的風險。而新華三的能力就是利用自身的生態優勢,為客戶提供端到端的異構連線保障,確保客戶從新華三驗證過的交付件庫中選擇GPU、網絡卡、模組、交換機,即可在實際場景中放心互聯。
為此,新華三還設計了一套《智算網路異構連通專項測試》標準,專門用於驗證不同智算元件之間的互通性,豐富的測試例覆蓋瞭如下驗證能力(如圖1所示)。
圖1測試例覆蓋的驗證能力
●場景化網路調優
在“場景化網路調優”方面,新華三集團透過埠對稱Hash技術LBN、動態負載均衡技術DLB(如圖2所示)、鏈路噴灑技術SprayLink、全域性負載均衡技術FGLB等滿足了客戶不同智算場景的技術需求,實現了資料中心超高頻寬利用率的無阻塞轉發。
圖2動態負載均衡技術DLB示意
以“埠對稱Hash技術LBN”為例,對於智算網路中的每一臺裝置而言,網路調優的最終目標,就是下行埠接收的流量,能夠確保透過上行頻寬資源轉發出去。實現這個目標最簡單的方式是為每一個下行口指定一個同速率的上行口,其他下行口的流量不能從該上行口轉發,形成獨佔的上行資源,這項技術即為LBN(如圖3所示)。
圖3 LBN技術示意
當網路和業務規模超出LBN可覆蓋的能力時,需要透過“引入新變數”和“分割單一流”解決Hash極化問題。所謂“引入新變數”,即為在Hash過程中引入出埠負載情況(佇列長度),提升佇列更短的出埠優先順序,就可以將流量更多地分攤到空閒埠上;所謂“分割單一流”,即為在出埠Hash時,針對子流做Hash,引入當前出埠的負載,便可以將不同時間段到達的子流Hash到當前最空閒的埠傳送。
當一條大流連續到達交換機的時候,“鏈路噴灑技術SprayLink”(如圖4所示)的價值便得到了彰顯。SprayLink透過實時監控LACP/ECMP中各物理鏈路的頻寬利用率、出口佇列、快取佔用、傳輸時延等精細化資料,對大流做到基於Per-Packet(逐包)方式的動態負載均衡,將每個資料包分配到當時資源最優的鏈路上。透過實測,採用SprayLink可以使多條鏈路的總頻寬利用率達到95%以上,比傳統H a s h方法提升明顯。但是SprayLink存在流量到達接收端的亂序問題,需要接收端的網絡卡支援亂序重排技術才能匹配。
圖4鏈路噴灑技術SprayLink示意
上述幾種負載均衡技術,看似已完整覆蓋了所有場景,但其只能根據裝置本地的負載情況進行選擇,對於發出的資料在剩餘路徑上的傳輸質量,則沒有判斷依據。而新華三的全域性負載均衡技術FGLB(如圖5所示),能夠讓每臺裝置都擁有全域性視角,瞭解自己介面的下一跳,乃至下一跳到再下一跳的鏈路負載情況,來輔助決策本地的負載結果。
圖5全域性負載均衡技術FGLB示意
眾所周知,實現全場景網路調優是企業提升鏈路效能的關鍵,新華三依託其領先的負載均衡技術,透過豐富的現網實踐,總結出了以下場景化匹配應用建議(如圖6所示)。
圖6場景化匹配應用
●異構算網聯動
在“異構算網聯動”方面,新華三在“調整網絡卡QP能力與網路聯動”“算網主動選路與路徑模擬技術”兩大方面進行了實踐探索。
關於“調整網絡卡QP能力與網路聯動”(如圖7所示),新華三透過識別不同網絡卡的樣本能力(QP規格),結合當前網路可用路徑數量和頻寬的資源,以及自研的演算法,提供了一種端到端的負載最佳化機制。當訓練任務開始時,兩張網絡卡之間建立資料連線,在AI伺服器內部的agent就將報文特徵等資訊傳遞到控制器,同時控制器根據當前網路的資源,設定網絡卡的QP規格,為一對Peer建立多對QP,解決路徑中裝置Hash不均問題。
圖7調整網絡卡QP能力與網路聯動示意
關於“算網主動選路與路徑模擬技術”(如圖8所示),新華三透過算網協同機制,實現了一種主動選路的功能。當一個CCL發起新的互通請求時,新華三的網路分析器會收集當前所有鏈路流量負載情況,並根據自研的智慧選路演算法,選出對於該互通連線最高效的路徑,將配置下發到交換機,實現按策略的轉發,避免傳統路由協議選路條件粗放的問題。同時新華三還提供路徑模擬能力,對於主動選路效果,可以在分析器內部透過NFV的形式進行真實流量模擬,來驗證策略下發效果,驗證後再下發到真實裝置上。
圖8算網主動選路與路徑模擬技術示意
面向未來,在算力爆發的時代,新華三集團將始終秉承開放共贏的理念,透過多元可靠聯接、場景化網路調優、異構算網聯動三大核心能力,解決客戶在異構算力組網過程中遇到的各種問題,與生態合作伙伴、行業客戶一起,打造繁榮、開放的智算生態體系。