金磊 發自 拉斯維加斯量子位 | 公眾號 QbitAI
就在剛剛，一哥雲科技，在大模型這件事兒上搞了波大的——
亞馬遜CEO Andy Jassy親自站臺re:Invent24，釋出自家新款AI多模態系列大模型，名曰Amazon Nova。
而且是一口氣涵蓋文字對話、圖片生成、影片生成，甚至直接吐露一個小目標：
將來我們不僅要Speech to Speech，更要Any-to-Any！
整體而言，Amazon Nova系列中的所有模型，均以功能和尺寸來劃分。
先來看下新版尖端基礎大模型的“文字對話篇”，一共包含四個杯型：
Amazon Nova Micro：僅限文字對話，主打一個低價格和低延遲；Amazon Nova Lite：低成本的多模態大模型，處理影象、影片和文字輸入的速度極快。Amazon Nova Pro：高效能的多模態大模型，精度、速度和成本最佳“配方”，可處理廣泛的任務。Amazon Nova Premier：亞馬遜最強多模態大模型，可處理複雜的推理任務，也可用於蒸餾客戶定製化的模型。
在現場，Andy也曬出了Amazon Nova在CRAG、BFCL、VisualWebBench和Mind2Web等Benchmarks上取得的分數。
從成績中不難看出，其在檢索增強生成（RAG）、函式呼叫和智慧體應用方面具有較好的效能。
據悉，前三者已經上架亞馬遜雲科技的“模型工廠”Amazon Bedrock，而Premier版本則將於2025年第一季度推出。
目前也有一些實測已經流出，例如給Amazon Nova Pro一句Prompt：
Write a summary of this doc in 100 words. Then, build a decision tree.寫一篇100字的摘要。然後，構建一個決策樹。
啪的一下，結果就出來了：
再如讓Amazon Nova Pro理解下面這個合併在一起的影片：
它給出的答案是：
The video begins with a view of a rocky shore on the ocean, and then transitions to a close-up of a large seashell resting on a sandy beach.影片一開始是海洋上的岩石海岸，然後過渡到一個大貝殼躺在沙灘上的特寫。
接下來，就是“非文字生成篇”，一共包括兩款。
Amazon Nova Canvas，主打的是影象生成，用官方的話來說，是達到了“State-of-the-art”（最先進）的水平：
至於影片生成模型，名叫Amazon Nova Reel，給定一張圖片和一句話，即可讓它動起來：
而接下來Andy的一番話，直接讓現場不淡定了。
正如我們剛才提到的，Andy已經放出了話，Amazon Nova即將呈現出來的態勢是萬物皆可生成。
值得細細品味的一點是，亞馬遜雲科技在生成式AI時代中，先前釋出自研大模型並不算最吸睛的那一批。
雖然此前也釋出過Amazon Titan大模型，但模態上也僅限於文字，更多的精力還是聚焦在了像Amazon Bedrock、Amazon Q這樣的平臺和應用。
而這次，亞馬遜雲科技卻一反常態，以厚積薄發之勢把主流模態全面覆蓋，甚至一句“Any-to-Any”彰顯其雄心。
為何會如此？
縱觀整場釋出會，透過亞馬遜雲科技CEO Matt Garman的全程介紹，或許可以把答案總結為——
實力是一直有的，只是現在客戶有需求了。
這又該如何理解？我們繼續往下看。
算力再升級，價格很美麗
先看實力。
作為雲計算一哥，算力是亞馬遜雲科技的看家本領之一。
與傳統雲服務廠商不同，其自主研發並最佳化的專用晶片和資料中心，包括Graviton和Nitro等專有伺服器主機，為實時計算提供支援。
而這一次，從晶片到伺服器，基礎設施上一系列的更新動作，可以分為三大板塊來看——
計算（Compute）、儲存（Storage）和資料庫（Database）。
在計算層面上，亞馬遜雲科技先是宣佈Amazon EC2 Trn2例項正式可用。
EC2 Trn2例項採用了第二代Trainium 晶片（Trainium2），與上一代Trn1例項相比，效能提升顯著。具體來說：
訓練速度提高4倍：這一效能提升能有效減少模型訓練所需時間，加快企業應用落地；記憶體頻寬提高4倍：更強的資料傳輸能力可以滿足複雜模型對實時資料處理的高要求；記憶體容量提高3倍：為高參數量模型的執行提供了足夠的計算資源。
此外，Trn2例項在價效比上比當前基於GPU的EC2 P5e和P5en例項高出30-40%。
每個Trn2例項包含16個Trainium2晶片，192 vCPUs，2 TiB的記憶體，以及3.2 Tbps的Elastic Fabric Adapter (EFA) v3 網路頻寬，這比上一代降低了高達 35% 的延遲。
針對更高效能需求，亞馬遜雲科技同時推出了Trn2 UltraServer。
這是一種全新的超大規模計算產品，每臺UltraServer包含64個Trainium2晶片，並透過高頻寬、低延遲的 NeuronLink互連實現了卓越的效能。
這使得Trn2 UltraServer成為訓練超大規模基礎模型（如生成式 AI、LLM 等）的理想選擇。
NeuronLink是亞馬遜雲科技專有的網路互連技術，它能夠將多臺Trainium伺服器組合成一個邏輯上的單一伺服器，連線頻寬可達2TB/s的頻寬，而延遲僅為1微秒。
它的設計特別適合分散式深度學習任務，在網路通訊上的最佳化有助於顯著縮短訓練時間，提升資源利用率。
用官方的話來說就是：
這正是訓練萬億級引數的大型人工智慧模型所需要的超級計算平臺，非常強大。
在現場，蘋果也來為亞馬遜站臺，機器學習和人工智慧高階總監Benoit Dupin表示：
蘋果將使用亞馬遜雲科技的Trainium2晶片。
除此之外，在晶片層面上，亞馬遜雲科技釋出了AWS Trainium3晶片預覽版，預計於2025年正式推出。
據悉，Trainium3將採用3奈米工藝製造，提供兩倍於Trainium2的計算能力，並提升40%的能效。
在計算（Compute）之後，便是儲存（Storage）上的更新。
我們都知道，在資料分析和大資料領域，處理和查詢大規模資料集的能力至關重要。
而傳統的資料查詢方法在處理海量資料時，常常導致效能瓶頸和管理複雜性，影響了企業的資料驅動決策能力。
為此，亞馬遜雲科技專門推出了Amazon S3 Tables。
Amazon S3 Tables提供了一種新的儲存方式，專為表格資料設計，支援使用Amazon Athena、Amazon EMR 和 Apache Spark等流行的查詢引擎進行輕鬆查詢。
S3的表儲存桶是它的第三種儲存桶型別，與現有的通用儲存桶和目錄儲存桶並列；可以將表儲存桶視為一個分析倉庫，用於儲存具有不同模式的Iceberg表格。
與自管理的表格儲存相比，S3 Tables可以實現高達3倍的查詢效能提升和10倍的每秒事務處理能力，同時提供全託管服務的操作效率。
除此之外，元資料（Metadata）也變得越發重要，例如電話裡面有很多照片，正是因為透過元資料儲存資料，現在可以實現用自然語言很快找到這張照片。
基於這樣的需求，亞馬遜雲科技推出了Amazon S3 Metadata的預覽版。
Amazon S3 Metadata提供了一種自動化、易於查詢的元資料管理方式，這些元資料幾乎實時更新，幫助使用者整理、識別和使用S3資料進行業務分析、實時推理應用等。
它支援物件元資料，包括系統定義的詳細資訊（如大小和物件來源）以及自定義元資料，允許使用者使用標籤為物件新增產品SKU、交易ID或內容評級等資訊。
而這些元資料同樣也儲存在S3 Tables之中。
在計算、儲存之後，便是基礎設施的第三大板塊——資料庫（Database）。
有意思的一點是，Matt在現場分享了一張“OR”還是“AND”的圖，表示企業在選擇資料庫時普遍遇到的艱難抉擇——跨區域一致、高可用性、低延遲，往往只能3選2。
而亞馬遜雲科技此次給出的答卷是，都可以有。
這就是新型無伺服器Amazon Aurora DSQL，旨在解決傳統資料庫在擴充套件性和效能方面的挑戰。
Aurora DSQL結合了傳統關係資料庫的強一致性和NoSQL資料庫的分散式擴充套件能力，提供了以下幾個關鍵優勢：
跨區域強一致性和低延遲：採用了全新的架構，使其能夠在多個地理區域中同時執行，而保持強一致性。無限擴充套件：能夠處理數TB到數PB級的資料集，適用於任何規模的企業。超高可用性：提供99.999%的可用性，這對於許多需要高可用性和無縫執行的企業級應用至關重要。效能優越：其跨區域的讀寫操作比Spanner快了四倍。
以上便是亞馬遜雲科技此次在基礎設施上的發力了。
新的積木——推理
如果說把基礎設施的三大板塊視為三塊積木，那麼接下來，亞馬遜雲科技在模型層和應用層方面添加了第四塊積木——推理（Inference）。
推理是生成式AI工作流的核心，它指的是將已經訓練好的模型應用到新資料上，進行預測、生成或推斷。
Matt在會上強調：
推理在AI模型的應用中變得尤為重要，尤其是在處理像大型語言模型等複雜模型時，推理要求極高的計算能力和低延遲響應。
而Amazon Bedrock作為亞馬遜雲科技在模型層的一項AI平臺服務，先是與我們上述的基礎設施在推理上保持了同步。
換言之，Inferentia和Trainium晶片提供的推理的硬體最佳化，使用者可以透過Amazon Bedrock便捷訪問這些資源。
而至於Amazon Bedrock本身，這次也迎來多項能力的升級。
首先就是模型蒸餾（Model Distillation），能夠自動化建立針對特定用例的蒸餾模型。
主要是透過從大型基礎模型（教師模型）生成響應，並使用這些響應來微調較小的基礎模型（學生模型），從而實現知識轉移，提高小模型的精確度，同時降低延遲和成本。
其次是多智慧體協作（multi-agent collaboration）。
在需要多個智慧體處理複雜任務的場景中，管理這些智慧體變得具有挑戰性，尤其是隨著任務複雜性的增加。
使用開源解決方案的開發者可能會發現自己需要手動實現智慧體編排、會話處理、記憶體管理等複雜操作。
這也正是亞馬遜雲科技在Amazon Bedrock上推出多智慧體協作的出發點。具體特點如下：
快速設定：無需複雜編碼，幾分鐘內建立、部署和管理協同工作的AI智慧體。可組合性：將現有智慧體作為子智慧體整合到更大的智慧體系統中，使它們能夠無縫協作以應對複雜的工作流程。高效的智慧體間通訊：監督智慧體可以使用一致的介面與子智慧體進行互動，支援並行通訊以更高效地完成任務。最佳化的協作模式：在監督模式和監督加路由模式之間選擇。在路由模式下，監督智慧體將直接將簡單請求路由到相關的子智慧體，繞過完整的編排。
最後，也是更為重要的一點，便是防止大型語言模型幻覺導致的事實錯誤的功能——自動推理檢查（Automated Reasoning checks），這是Amazon Bedrock Guardrails中新增的一項功能。
這種新的防護措施，旨在透過數學驗證來確保LLMs生成的響應的準確性，並防止幻覺導致的事實錯誤。
自動推理檢查使用基於數學和邏輯的演算法驗證和推理過程來驗證模型生成的資訊，確保輸出與已知事實一致，而不是基於虛構或不一致的資料。
與機器學習（ML）不同，自動推理提供了關於系統行為的數學保證。
據悉，亞馬遜雲科技已經在儲存、網路、虛擬化、身份和密碼學等關鍵服務領域使用自動推理，例如，自動推理用於正式驗證密碼實現的正確性，提高效能和開發速度。
在效能方面，Bedrock還推出了低延遲最佳化推理，由此，使用者可以在使用最先進的大模型基礎上，還享受卓越的推理效能。
值得一提的是，Llama 405B和Llama 70B低延遲最佳化版本，在亞馬遜雲科技上展現出超越其他雲提供商的出色表現。
還有應用層和其它更新
針對開發者和企業，亞馬遜雲科技在應用層上的代表作便是Amazon Q了。
針對越來越多的企業尋求從本地資料中心遷移到雲的痛點，亞馬遜雲科技在Amazon Q Developer上推出了多項新功能。
其中較為引人注目的就是Transformation for Windows .NET Applications，這項功能使得企業能夠更快速地將.NET應用程式遷移到AWS，同時還能夠顯著降低遷移成本。
Amazon Q為.NET應用程式提供了自動化遷移工具，能夠識別應用程式中可能存在的不相容問題，生成遷移計劃，並且自動調整原始碼，確保平滑過渡到雲端。這種自動化遷移大幅提高了工作效率，減少了人為干預。
透過將應用程式從Windows遷移到Linux，企業能夠節省高昂的Windows許可費用，降低TCO（總擁有成本）。
Matt指出，使用Amazon Q的企業能夠節省多達40%的許可成本。
而且遷移速度比傳統手動遷移快了四倍，大大減少了系統遷移的停機時間和風險。
除了Windows應用的遷移，亞馬遜雲科技還推出了Amazon Q Developer Transformation for VMware Workloads功能，專為執行在VMware上的企業工作負載設計。
透過這一工具，亞馬遜雲科技可以幫助企業將本地的VMware環境遷移到雲平臺。
應用層之外，還有諸如將AI和分析做結合的產品——Amazon SageMaker。
它作為一個可以幫企業加速AI應用的開發、訓練和部署的資料科學平臺，今天也正式步入了“下一代”。
新一代SageMaker的核心是SageMaker Unified Studio。
這是一個單一的資料和AI開發環境，它整合了Amazon Athena、Amazon EMR、AWS Glue、Amazon Redshift、Amazon Managed Workflows for Apache Airflow (MWAA)以及現有的SageMaker Studio中的工具和功能。
其次是Amazon SageMaker Lakehouse，可以統一Amazon S3資料湖、Amazon Redshift資料倉庫和第三方及聯合資料來源。
亞馬遜雲科技的“AI步法”
在看完本屆re:Invent所有內容和實力之後，亞馬遜雲科技在生成式AI時代的發展路徑其實也就比較清晰了——
從客戶的真實業務需求出發。
上文種種內容的更新，都是基於“客戶的服務出現了什麼問題”，包括計算、儲存、資料庫上的瓶頸，包括客戶在模型上的選擇，再包括應用上的遷移服務等等。
洞悉了背後的實用主義邏輯，也就不難理解，亞馬遜雲科技為何選擇在這個時間節點上釋出一系列多模態大模型，還是因為客戶有需要。
這種需要，具體而言，就是客戶在模型上的選擇，畢竟“沒有一個模型可以一統天下”，每個模型都有自己所擅長的領域。
但亞馬遜雲科技所做的，是利用自己在基礎設施、工具/模型和應用三個層面的深耕和實力，給客戶多提供了一個“快、好、省”的選項。
回顧亞馬遜雲科技的起步，似乎這一點從未變過。
正如Matt在大會上回憶的那樣：
亞馬遜雲科技在2006年推出時，初創公司是第一批使用者，他們總是非常積極地採用新技術，並且能夠提供有價值的反饋。
而這種反饋也進一步推動了亞馬遜雲科技的發展，也有助於理解如何更好地支援創業精神。
因此，Matt在大會中還宣佈了一個重磅訊息：
將在2025年為全球的初創公司提供10億美元的資金支援！One More Thing
本屆re:Invent共計6萬人參與，來感受一下這個熱情、這個feel~
參考連結：[1]https://www.aboutamazon.com/news/aws/amazon-nova-artificial-intelligence-bedrock-aws[2]https://aws.amazon.com/blogs/aws/amazon-ec2-trn2-instances-and-trn2-ultraservers-for-aiml-training-and-inference-is-now-available/[3]https://aws.amazon.com/blogs/aws/new-amazon-s3-tables-storage-optimized-for-analytics-workloads/
