使用了同一架构#xff0c;有20亿、70亿两种参数#xff0c;每种参数都有预训练和指令调优两个版本。

根据谷歌公布的测试显示#xff0c;在MMLU、BBH、GSM8K等主流测试…2月22日谷歌在官网宣布开源大语言模型Gemma。

使用了同一架构有20亿、70亿两种参数每种参数都有预训练和指令调优两个版本。

根据谷歌公布的测试显示在MMLU、BBH、GSM8K等主流测试平台中其70亿模型在数学、推理、代码的能力超过Llama-2的70亿和130亿成为最强小参数的类ChatGPT模型。

目前Gemma可以商用并且普通笔记本、台式机就能跑无需耗费巨大的AI算力矩阵。

Kaggle地址https://www.kaggle.com/models/google/gemma/code/

huggingface地址https://huggingface.co/models?searchgoogle/gemma

技术报告https://goo.gle/GemmaReport

谷歌作为贡献出Transformers、TensorFlow、BERT、T5、JAX、AlphaFold等一系列改变世界AI发展的宗师级大师在生成式AI领域却一直落后于OpenAI。

不仅如此开源领域还打不过类ChatGPT开源鼻祖Meta的Llama系列。

痛定思痛之后谷歌决定重新加入开源阵营以抢夺开发者和用户。

Gemma简单介绍

谷歌表示Gemma之所以性能如此强悍主要是使用了与Gemini相同的技术架构。

更详细的开发者指南https://ai.google.dev/gemma/docs?utm_sourceagdutm_mediumreferralutm_campaignquickstart-docu

Gemini的基础架构建立在Transformer编码器结构之上通过多层自注意力和前馈神经网络来建模序列依赖性。

不同的是Gemini采用了多查询注意力机制可处理超复杂长文本。

具体来说,模型首先将输入序列的每个位置编码成多组查询向量。

然后,将这些查询向量并行地与键值对进行批量注意力运算,得到多个注意力结果。

Generative

Toolkit等一系列工具为使用Gemma提供更安全的AI应用程序提供指导。

Gemma

核心数据训练集以外的任何特定任务或指令进行训练指令微调通过人类语言互动进行训练可以响应对话输入类似ChatGPT聊天机器人。

跨框架、工具和硬件对Gemma进行优化

跨设备兼容性Gemma可以跨多种设备类型运行包括笔记本电脑、台式机、物联网、移动设备和云从而实现广泛的

高级硬件平台谷歌与NVIDIA合作针对

工具集具有一系列调整选项并可使用内置推理优化功能进行一键式部署。

高级定制功能可通过完全管理的顶点人工智能工具或自我管理的GKE

实现包括部署到

谷歌在MMLU、BBH、GSM8K等主流测试平台中用Gemma

70亿模型与Llama-2、Mistral在数学、推理、代码等方面进行了深度测试。

2和Mistral模型。

甚至在一些关键能力方面高于Llama-2

本文素材来源谷歌官网如有侵权请联系删除