12月12日,在北京中關村科金技術有限公司主辦的《2024大模型技術與應用創新論壇》,中國工程院院士、超算領域專家鄭緯民發表題為《支援大模型訓練推理的計算機系統研究與思考》的分享。
鄭緯民院士表示,今年大模型有兩個特點,第一是分析基礎大模型進入多模態狀態,不光有文字,還有影象、影片,也就是多模態。第二個特點是“用起來”。大模型+實際的東西,比如大模型+金融,大模型+醫療、大模型+汽車、大模型+智慧製造、大模型+各行各業。
鄭緯民院士提到,基礎大模型,我們的水平跟美國人比差一點,但大模型+我們還是有希望超過美國的。
他還講解了大模型生命週期的五個環節,分別是資料獲取、資料預處理、模型訓練、模型微調和模型推理。鄭緯民院士談到,這五個過程都需要算力、儲存,都很費時間。
談到產業期待,鄭緯民院士坦言,我們在構建國產萬卡系統和異構卡聯合訓練方面還需要繼續攻堅和努力。(定西)
本文來自網易科技報道,更多資訊和深度內容,關注我們。