從2023上半年開始，的AI伺服器用GPU（特別是H100）就供不應求了，這種狀況一直持續到今天。之所以如此，問題出在生產環節，主要涉及臺積電的先進製程和封裝產能，特別是CoWoS封裝，市場上具備這種先進封裝量產能力的廠商並不多，而臺積電沒有預料到市場對英偉達GPU的需求增長爆發力如此之強，在2023年第二季度才開始大規模擴增CoWoS產能。
近期，市場傳來了一個好訊息，（UBS）的最新報告顯示，英偉達大幅縮短了AI GPU的交貨週期，從2023年底的8~11個月縮短到了現在的3-4個月。這對英偉達客戶來說是非常利好的。
01
CoWoS封裝產能是關鍵
交貨時間縮短，表明臺積電擴增的CoWoS封裝產能開始釋放。據悉，臺積電要在2024年底前將相關產能從2023年中的水平增加一倍，從目前的情況來看，臺積電及其合作伙伴的CoWoS產能擴增進展快於預期，使得以H100為代表的高效能GPU交貨時間大幅縮短。
產業人士分析，從2023年7月到年底，臺積電積極調整CoWoS封裝產能，已逐步擴充並穩定量產，去年12月，臺積電CoWoS月產能增加到1.4萬~1.5萬片。
雖然臺積電在積極擴產，但只這一家的產能還是無法滿足市場需求，因此，英偉達已經在2023年向臺積電以外的專業封測代工廠（OSAT）尋求幫助，主要包括日月光和安靠（Amkor），其中，安靠在2023年第四季度已開始提供相關產能，日月光投控旗下矽品也於2024年第一季度開始供應CoWoS封裝產能。
2024年，AI晶片用先進封裝產能依然會供不應求，包括臺積電、日月光、安靠、力成、京元電在內的專業封測代工廠，將會在今年擴大資本支出，以佈局先進封裝產能。
根據臺積電的擴產節奏，預計到今年第四季度，該晶圓代工龍頭的CoWoS月產能將大幅擴充到3.3萬~3.5萬片。
今年，日月光的資本支出規模將同比增長40%~50%，其中，65%的投資用於封裝，特別是先進封裝專案。日月光投控營運長吳田玉表示，今年的先進封裝與測試營收佔比會更高，AI相關先進封裝收入將翻倍，今年相關營收至少增加2.5億美元。力成也在擴大先進封裝產能，該公司董事長蔡篤恭表示，下半年將積極擴大資本支出，規模有望達到100億元新臺幣。力成主要佈局扇出型基板封裝（fan out on substrate）技術，整合ASIC和HBM先進封裝，在AI用HBM記憶體方面，力成有望在今年第四季度量產相關產品。為滿足CoWoS封裝後的晶圓測試需求，今年，京元電相關晶圓測試產能將擴充兩倍。
02
競爭對手雪上加霜
近些年，全球AI核心處理器市場幾乎被英偉達GPU壟斷，此次，該公司供貨能力進一步提升，對於各家競爭對手來說，真是雪上加霜，有些廠商的日子更難過了，特別是一些對標英偉達產品的創業公司，有的已經接近倒閉。
據The Information統計，在北美地區，至少有12家AI晶片創業公司想從英偉達獨享的生成式AI算力紅利中分一杯羹。在這些創業公司中，創辦時間最長的不超過8年，有5家都是2022年創辦的，有4家創始成員有谷歌背景。
這12家AI晶片創業公司，有的定位做訓練，有的主攻推理，有些則更進一步，將其產品定位瞄準特定型別的AI模型。推理一直是更受歡迎的選擇，因為很多客戶使用或微調已經被訓練過的模型，而不是從頭開始構建一個新模型。AI晶片創業公司d-Matrix、Etched.ai、Extropic、SiMa.ai、Groq正在構建專門用於某些模型架構的晶片，如為OpenAI和Anthropic的大語言模型提供動力的Transformer。這些公司認為，專用晶片比英偉達、Cerebras、Lightmatter、Rain AI、Tenstorrent等的通用晶片更快、效率更高。
還有幾家創業公司正在開發新GPU技術和產品，包括專用的AI加速器和針對特定應用最佳化的定製晶片。如果這些創業公司的技術被證明優於老牌企業，他們可能會成為顛覆者，但是，從過去幾年的技術和產品發展情況來看，短時間內，要想顛覆英偉達的產品和生態系統，難度非常大，已經有幾家公司支撐不住了，由於它們開發的新技術和產品很難在市場上銷售出去，導致資金鍊非常緊張。
以英國的Graphcore為例，該公司正在考慮出售給外國買家，據媒報道，Graphcore一直在與主要科技公司進行談判，因為它正在尋求資金來彌補日益增長的虧空。2023年，Graphcore就曾表示，在銷售額下降46%且虧損增加後，它需要新的資金。
03
中國市場緊迫感增加
目前，全球AI市場用到的GPU，先進且用量最大的是H100，但該產品在巨大的中國大陸市場難以實現大規模銷售。對於英偉達來說，產能問題的解決，可以實現更多訂單，對於中國大陸市場來說，全球市場GPU供應量的增加，會進一步增加本土AI伺服器和應用企業的緊迫感，因為全球AI應用水平會隨GPU供應量的大幅增加而提升進步速度，在類似於H100這樣的主晶片供應受限的情況下，中國市場必須另謀出路，才能保證本土市場AI伺服器系統和應用水平不掉隊。
在A800和H800晶片被禁售以後，英偉達又為中國大陸市場提供了新的方案——H20、L20和L2。但是，在目前這種情況下，中國客戶是否願意大規模採用英偉達這些降級版本AI晶片呢？
據報道，自2023年11月以來，阿里巴巴和騰訊等網際網路大廠一直在測試英偉達降級版本晶片，這些中國企業已經向英偉達表示，他們計劃在2024年訂購的晶片數量將大大低於他們最初的計劃。測試人員強調，與英偉達常規GPU相比，需要更多的H20晶片來抵消效能差異，從而導致費用大幅增加。基於此，中國本土設計製造的相關晶片對買家更具吸引力，阿里巴巴和騰訊等企業正在將更多訂單轉移到本土晶片供應商。
這種採購行為的轉變在包括百度和位元組跳動在內的其它主要晶片買家中也很明顯。據TrendForce統計，中國雲計算公司使用的高階AI晶片中，約有80%來自英偉達，但這一比例在未來5年內可能會下降至50%~60%。
與此同時，百度和阿里巴巴等中國CSP也在積極投資自研AI晶片。
百度於2020年推出了首款自研的AI晶片崑崙芯，並在2021年推出第二代，計劃在2024年推出第三代。在收購中天微併成立T-Head Semiconductor（平頭哥）後，阿里巴巴也開始設計AI晶片，代表產品是含光800。雖然T-Head最初與外部公司合作進行ASIC晶片設計，但從2023年開始，阿里巴巴將主要依賴內部資源來加強其下一代ASIC晶片設計，特別是阿里雲的AI基礎設施。
近些年，華為、寒武紀、天數智芯等中國本土企業也在潛心研究高效能AI晶片，產品力不斷升級。以華為昇騰910為例，該款晶片採用7nm製程，集成了超496億個電晶體，可以提供320TFLOPS的FP16計算速度或640TOPS的INT8算力，略高於英偉達A100的FP16計算速度（312TFLOPS，不採用英偉達稀疏技術）。
04
AI伺服器生產和代工的商機
從目前的發展情況來看，2024年，AI伺服器和相關係統將會加快組裝、生產和應用節奏，TrendForce認為，2024年，全球AI伺服器數量將超過160萬臺（包含採用高階GPU的AI訓練伺服器，以及採用中低端GPU、FPGA、ASIC的AI推理伺服器），同比增長40%，這將為相關晶片和電子製造代工業務（EMS）帶來更多商機，特別是中國臺灣和中國大陸相關廠商，有更多可以挖掘的市場空間。
目前，各大雲服務提供商正在競相佈局LLM與生成式AI應用，如Google的Gemini，Amazon也在訓練新的LLM。預計中小語言模型會是2024年新興競爭領域，許多更為定製化、符合運算效率的模型將陸續出現，例如Llama-2、Microsoft Phi-2、Google Gemini Nano 2等。而隨著英偉達GPU供應能力的提升，這些AI應用面市的速度會加快，對相關伺服器生產和代工的需求也會提升。
近期，中國臺灣AI伺服器供應鏈高度關注AI晶片供應狀況的變化。供應鏈人士表示，鴻海是英偉達板卡主要供應商，也是HGX、DGX等伺服器平臺供應商，市佔率超過70%，許多產品甚至獨家供應。鴻海董事長劉揚偉先前公開表示，鴻海AI伺服器業務接單狀況相當好。
廣達同樣看好今年AI伺服器出貨，該公司預期，如果AI晶片供貨緩解，最快5月起，AI伺服器出貨量將明顯提升，下半年將進入出貨爆發期，今年AI伺服器營收增長幅度將達到兩位數百分比。
據悉，緯創手握英偉達CoWoS AI晶片基板85%訂單，也是AMD和英特爾AI晶片模組、基板的獨家供應商。緯創表示，今年AI相關營收增長幅度將達到三位數百分比。
在中國大陸，AI伺服器出貨量也在快速增長。中商產業研究院釋出的《2022-2027年中國伺服器行業需求預測及發展趨勢前瞻報告》顯示，2022年，AI伺服器市場出貨量約28.4萬臺，同比增長25.66%，2023年約為35.4萬臺。中商產業研究院分析師預測，2024年，中國大陸AI伺服器出貨量將達到42.1萬臺。
從全球市場來看，AI伺服器TOP10廠商中，中國大陸廠商佔據4席，其中，浪潮資訊是本土最大AI伺服器廠商。在中國大陸市場，AI伺服器市場集中度較高，排名前三的廠商為浪潮資訊、寧暢和華為，這三家的市佔率總和達70.40%。另外，新華三的產品也值得關注。
浪潮的代表產品是NF5688M6，它是為超大規模資料中心研發的NVLink AI伺服器，支援2個英特爾Ice Lake CPU和8個英偉達A800 GPU，單機可提供5PFlops的AI計算效能。對比核心硬體來看，NF5688M6採用英偉達中國特供版晶片A800，在浮點計算能力、視訊記憶體頻寬、視訊記憶體容量等效能指標上，與先進算力晶片A100基本一致，主要差異在於晶片的資料傳輸速度，約為A100的三分之二。
華為的AI伺服器融合了自研加速卡和英特爾CPU，代表產品是Atlas 800推理伺服器系列，旗下有型號3000、3010、9000和9010，其中，3000基於昇騰310晶片，3010基於英特爾CPU，9000基於華為鯤鵬920+昇騰910處理器，9010基於英特爾CPU+華為昇騰910晶片。產品最高擁有2.24 PFLOPS FP16的算力。
新華三的AI伺服器可覆蓋各種訓練負載要求，代表產品包括R4900 G5、R5300 G5、R5500 G5等，可分別針對不同訓練負載要求，滿足大小規模的推理/訓練任務。軟體層面，該公司透過新華三傲飛AI/HPC融合管理平臺，提升AI作業效率約32%。
05
結語
2024年，無論是AI晶片提供商，還是AI伺服器生產和代工廠商，都將迎來更廣闊的商機。
晶片方面，英偉達憑藉AI用GPU的火爆，已經賺得盆滿缽滿。在製造方面，以臺積電為代表的晶圓代工廠和封測廠大力擴增先進封裝產能，將在2024年得到回報。
在AI伺服器生產和代工方面，相關廠商更是商機無限。一般來說，通用伺服器的價格是幾千美金/臺，AI伺服器的價格則達到10-15萬美金/臺，價格提升了將近20倍，在供不應求的當下，這麼高的售價還不一定能拿到貨。
高階AI伺服器的價格就更誇張了，據悉，搭載英偉達A800的AI伺服器價格已經從120萬元/臺漲到了140多萬元/臺，搭載8個H800的AI伺服器價格已經漲到了280萬元/臺。
