2月22日訊息,今日凌晨,Google宣佈推出先進的輕量級開放模型系列Gemma,該模型採用了與建立 Gemini 模型相同的研究和技術。
Google表示,受到 Gemini 的啟發,Google DeepMind 和 Google 其他團隊合作開發了 Gemma,並用拉丁語中意為“寶石”的 gemma 為其命名。在釋出模型權重的同時,還推出了一系列工具,旨在支援開發者創新,促進合作,並將指導開發者如何負責任地使用 Gemma 模型。
Google方面稱,從今天起,Gemma 在全球範圍內開放使用。將釋出兩種權重規模的模型:Gemma 2B 和 Gemma 7B。每種規模都有預訓練和指令微調版本。
“新的 Responsible Generative AI Toolkit 為使用 Gemma 建立更安全的 AI 應用程式提供指導和必備工具。我們透過原生 Keras 3.0為所有主要框架(JAX、PyTorch 和 TensorFlow)提供推理和監督微調(SFT)的工具鏈。”
與此同時,主打上手即用,該模型與 Colab 和 Kaggle notebooks,以及與 Hugging Face、MaxText 和 NVIDIA NeMo 等受歡迎的工具整合,讓開始使用 Gemma 變得簡單容易。
更為重要的是,經過預訓練和指令微調的 Gemma 模型可以在您的膝上型電腦、工作站或 Google Cloud 上執行,並可輕鬆部署在 Vertex AI 和 Google Kubernetes Engine(GKE)上。
在效能表現上,Gemma 在關鍵基準測試集上大大超過了更大的模型,同時還嚴格遵守了我們對安全和負責任輸出的標準。
針對開發者,谷歌方面說明,開發者可以基於自己的資料微調 Gemma 模型以適應特定應用需求,例如摘要或檢索增強生成 (RAG)。Gemma 可支援多種工具和系統:
1、多框架工具:Gemma 提供 Keras 3.0、原生 PyTorch、JAX 和 Hugging Face Transformers 多個框架的參考實現,您可以選擇熟悉的框架進行推理和微調。
2、跨裝置相容:Gemma 模型可以在膝上型電腦、桌上型電腦、物聯網、移動裝置和雲端等多個主流裝置型別上執行,支援廣泛的 AI 功能。
3、前沿的硬體平臺: 我們與 NVIDIA 合作,使用 NVIDIA GPU 來最佳化 Gemma 模型,確保業界領先的效能與前沿技術的整合應用。
4、基於 Google Cloud 的最佳化:Vertex AI 提供廣泛的 MLOps 工具集,其中包含一系列微調選項和內建推理最佳化的一鍵部署功能。您可以使用完全託管的 Vertex AI 工具或自行管理的 GKE 來進行高階定製,以經濟高效的方式自行選擇部署在 GPU、TPU 或 CPU 基礎設施上。
在負責任方面,Gemma 在設計時將 AI 原則放在首位。為了使 Gemma 預訓練模型安全可靠,谷歌使用自動技術,從訓練集中過濾掉特定的個人資訊及其他敏感資料。此外,我們進行了大量的微調和人類反饋強化學習(RLHF),使指令微調模型與負責任的行為保持一致。
谷歌方面表示,為了解並降低 Gemma 模型帶來的風險,谷歌進行了強有力的評估,包括手工紅隊測試、自動對抗性測試,以及對危險活動的模型能力評估。(定西)