與其他雲服務提供商一樣，租用給開發者和企業的伺服器主要適用的是英偉達AI晶片。然而媒體報道，亞馬遜如今正試圖說服這些客戶轉而使用由亞馬遜自研AI晶片驅動的伺服器。
The Information報道，亞馬遜晶片部門Annapurna的業務開發負責人Gadi Hutt表示，包括、Databricks、Adobe和Anthropic在內的一些希望找到晶片替代方案的科技公司，已經在測試亞馬遜最新的AI晶片，並取得了令人鼓舞的結果。
Hutt在亞馬遜AWS年度客戶大會表示：“去年，人們開始意識到，‘嘿，亞馬遜在AI晶片上的投資是認真的。’本週，更多人相信這是一個真實且持續的投入。”
分析認為，如果亞馬遜能夠將客戶支出轉移到其自研的伺服器晶片上，由於這些晶片部分因為耗電量遠低於英偉達晶片而對雲客戶更加便宜，這將提升亞馬遜的利潤率。此外，這也能阻止英偉達透過直接向企業出租其晶片伺服器，搶佔更多雲市場份額。
英偉達在AI晶片領域的主導地位一直難以撼動，這部分歸因於其晶片比包括亞馬遜、和谷歌在內的競爭對手生產的晶片更強大，同時，軟體開發者習慣於使用英偉達專有的Cuda程式語言為其晶片編寫軟體。
儘管如此，Hutt和其他亞馬遜高管本週表示，大客戶正在尋求更便宜的替代方案。AWS CEO Matt Garman表示，使用亞馬遜的AI晶片成本比英偉達的旗艦H100晶片低30%到40%，但能實現同等效能。
目前，亞馬遜已經在開發傳統伺服器晶片方面建立了一定的影響力，併成功說服客戶租用這些晶片。近年來，AWS客戶越來越多地使用亞馬遜的Graviton伺服器晶片，而不是由英特爾和AMD提供晶片的伺服器，因為Graviton通常價效比更高。
例如，企業軟體公司Databricks已經成為Graviton的重要客戶，其高管Naveen Rao表示，計劃使用亞馬遜的新AI晶片以降低執行軟體的成本。
亞馬遜開發晶片（包括AI晶片Trainium）的舉措是其更廣泛戰略的一部分，這一戰略旨在將計算的“基本構件”——從伺服器到雲軟體——轉變為廉價的通用商品。類似地，亞馬遜CEO Andy Jassy本週宣佈了一款由亞馬遜打造的新對話式AI模型，他表示，其效能與Anthropic和OpenAI的最新模型相當，但價格卻低了三倍以上。
Hutt還談到了公司的新Trainium晶片，以及AWS正在為Anthropic建造的一套超級計算伺服器叢集。Anthropic是OpenAI的競爭對手，也是AWS近年來營收增長的重要貢獻者之一，目前是AWS上最多使用英偉達伺服器的客戶之一。
以下是媒體採訪Gadi Hutt的對話節選：
1. 使用Trainium2（亞馬遜晶片的最新版本），為什麼你們要專注於把這款晶片賣給那些在英偉達晶片上花費巨大的公司？
Hutt：那些關注機器學習成本的客戶，通常是花費較大的客戶，包括蘋果、Adobe、Databricks等，還有一些資金充裕的初創公司，比如Poolside和Anthropic。
對他們來說，關鍵指標是“每1美元能獲得多少效能”。還有許多其他客戶，我們稱之為“長期客戶”，他們有各種專案非常適合我們的晶片。但也許他們每月的花費只有1000美元，這種情況下不值得工程師投入時間去探索這種選項。
實際上，在Trainium2生命週期的這個階段，我並不尋求吸引上百萬個客戶。就機器學習而言，我們還處於非常早期的階段。人們還在嘗試攻克通用人工智慧（AGI）和各種各樣的想法，這個領域還在不斷演變。
我們不能從第一天起就支援所有的用例。如果客戶嘗試執行一些無法正常工作的東西，這會是一種非常糟糕的體驗。因此，我們專注於聽取最大客戶的需求，“嘿，這是我們需要的”，而這往往是對整個市場未來需求的一個很好的預測。
2. Trainium2在明年的目標是什麼？
Hutt：當我們部署大量晶片時，我們的目標是確保它們被充分利用。所以我們首先需要與這些大客戶合作，然後再擴充套件到我所說的“長期客戶”。對我們這些製造晶片的人來說，成功的衡量標準是確保所有晶片都被充分利用。不管是10個客戶還是1000個客戶，數量是次要的。
這是場馬拉松，而不是短跑。隨著時間的推移，我們希望看到越來越多的客戶。我不會在內部制定目標，規定要啟用多少客戶。我們更關注的是確保為客戶提供合適的工具和效能，採用率自然會隨之提高。
3. 為什麼第一代Trainium晶片沒有成功推廣？第二代有什麼不同？
Hutt：首先，這是我們的第一款訓練晶片。你可以看看Trainium1（2022年釋出）與Graviton1（2019年釋出）的對比，同樣的故事。Graviton1實際上是為了啟用整個生態系統，包括軟體生態系統，並確保我們為客戶構建了正確的產品。
Trainium1的客戶（包括亞馬遜內部的團隊）幫助我們強化了軟體，但工作仍未完成。在支援更多工作負載方面，我們還有很多工作要做。不過，現在我們可以說，我們對Trainium2能夠支援的工作負載感到非常滿意，包括大型語言模型（LLM）、專家模型、多模態模型以及計算機視覺模型。
這需要時間，而且很複雜。如果很容易，更多人早就做到了。
3. AWS的客戶是否在考慮明年選擇租用Trainium2還是英偉達的Blackwell晶片？
Hutt：客戶喜歡有選擇的餘地。我們的工作是確保我們的晶片即使與英偉達的最新晶片相比，也依然具有吸引力，目前確實如此。
順便說一句，我們還沒有見到72晶片的Blackwell系統投入使用，但假設英偉達能夠交付，Trainium2依然會更具成本效益。
Trainium3（預計2025年底釋出）的計算能力是Trainium2的四倍，因此客戶瞭解我們的發汗路線圖。他們有信心認為，這是一個值得投資的方向，否則他們不會選擇它。
4. 你認為英偉達GPU的需求是否會發生變化？
Hutt：有很多客戶想使用英偉達晶片，不願瞭解Trainium晶片。如果你是小型GPU消費者，每次穩定使用10、20、30甚至100個GPU，沒有動力去改變現狀。即使每月能省下幾千美元，你可能也更願意讓工程師去做別的事情。
當客戶關心成本問題時，通常是在他們開始擴大規模時，但大規模的客戶並不多。所以對我們來說，這些晶片是長期投資，以確保我們為客戶提供選擇。如果客戶選擇使用它們很好，但如果不選擇，我們依然是執行GPU的最佳平臺。
我們的軟體成熟度會隨著時間的推移而提高，希望屆時會有更多客戶選擇使用Trainium。但GPU對我們來說也是一項好業務，我們在賣很多。所以，如果客戶希望我們為他們提供GPU，我們會永遠這麼做。
5. 使用Trainium晶片是否會提高AWS的利潤率？
Hutt：我們不會披露利潤率的具體情況，但我們在這些晶片上並沒有虧損。業務必須有存在的意義，否則我們不會在這裡投資。
6. 客戶何時開始對Trainium2感興趣？
Hutt：我記得與Poolside（一家AI編碼助手初創公司）的第一次會議。當我們向他們展示Trainium2的規格時，他們說，“好吧，這正是我們需要的。”
7. Anthropic的超級計算機叢集專案Rainier的耗電量是多少？
Hutt：我們沒有披露具體資料。但我可以告訴你，它比等效的GPU效率高50%。
8. 超級計算機何時能在Anthropic投入使用？
Hutt：Rainier專案很快就會完成，我們已經在建造中。他們可以逐步開始使用部分叢集，而不需要等到最後一顆晶片上線後再使用。隨著叢集擴充套件，他們可以逐步增加使用量。
9. Anthropic是否是唯一可以使用Rainier專案的公司？
Hutt：是的，僅供Anthropic使用。
我們正在建設更多的產能，以滿足其他客戶使用Trainium的需求。目前，短期內需求大於供應。所以第一季度將非常緊張，隨著產能增加，情況會有所改善。
