昨夜，谷歌罕见地改变了去年坚持的“大模型闭源”策略，推出了“开源”大模型Gemma。
Gemma采用了与Gemini相同的技术，由谷歌DeepMind与谷歌其他团队共同合作开发，在拉丁文中意为 “宝石”。
Gemma包括两种权重规模的模型：Gemma 2B与 Gemma 7B，每种规模都有预训练与指令微调版本。同时，谷歌还推出了一系列工具，旨在支持开发者创新，促进合作，并指导如何负责任地使用Gemma模型。
这样一来，谷歌在大模型领域形成了双线作战——闭源领域对抗OpenAI，开源领域对抗Meta。
在人工智能领域，谷歌可以算是开源的鼻祖。今天几乎所有的大语言模型，都基于谷歌在2017年发布的Transformer论文；谷歌的发布的BERT、T5，都是最早的一批开源AI模型。
然而，自从OpenAI在 2022年底发布闭源的ChatGPT，谷歌也开始转向闭源策略。此后，开源大模型被Meta的Llama主导，后来被称为“欧洲版OpenAI”的法国开源大模型公司Mistral AI走红，其MoE模型也被众多AI公司追捧。
无论在闭源还是开源领域，有世界上最前沿技术储备与人才储备的谷歌，都没能确立绝对的领先地位。
如今，闭源与开源双线作战，这是谷歌的妙手、本手还是俗手？
1.谷歌被迫开源？
谷歌开源大模型的发布时间，比Meta的 Llama晚了整整一年。
对此，出门问问创始人李志飞表示：“相比于去年上半年就开源，现在可能要花数倍的努力进行模型的差异化以及推广的投入、才有可能在众多开源模型中脱颖而出。”
同时，李志飞认为谷歌的开源力度也不够，还是被动防御和扭扭捏捏的应对之策，不是进攻。“比如说，开个7B的模型实在是太小儿科了，一点杀伤力都没有。应该直接开源一个超越市场上所有开源的至少100B的模型、1M的超长上下文、完善的推理infra方案、外加送一定的cloud credit。是的，再不歇斯底里Google真的就晚了。面对OpenAI的强力竞争，只有杀敌一千、自损一千五。”
李志飞感觉，谷歌觉得自己还是AI王者，放不下高贵的头颅，很多发布都有点不痛不痒，还是沿着过去研发驱动的老路而不是产品和竞争驱动，比如说不停发论文、取新名字（多模态相关模型过去半年就发了Palme、rt-2、Gemini、VideoPoet、W.A.L.T等等）、发布的模型又完整度不够，感觉就没有一个绝对能打的产品。谷歌可能要意识到在公众眼中，他在AI领域已经是廉颇老矣溃不成军，经常起大早赶晚集（比如说这次Sora借鉴的ViT、ViViT、NaVit、MAGVit等核心组件技术都是它家写的论文）。
但作为前谷歌总部科学家，李志飞也希望谷歌希望亡羊补牢未为晚。他表示：“Google作为一个僵化的大公司，动作慢一点可以理解，但是如果再不努力是不是就是PC互联网的IBM、移动互联网的Microsoft？ 作为Google的铁粉，还是希望他能打起精神一战，AI产业需要强力的竞争才能不停往前发展，也需要他在前沿研究和系统的开源才能帮助一大众贫穷的AI创业公司。”
另一位AI专家——微博新技术研发负责人张俊林认为，谷歌重返开源赛场，这是个大好事，但很明显是被迫的。
张俊林表示：“去年Google貌似已经下定决心要闭源了，这可能源于低估了追赶OpenAI的技术难度，Bard推出令人大失所望使得谷歌不得不面对现实，去年下半年进入很尴尬的局面，闭源要追上OpenAI估计还要不少时间，而开源方面Meta已下决心，还有Mistral这种新秀冒头，逐渐主导了开源市场。这导致无论开源闭源，谷歌都处于被两面夹击，进退为难的境地。”
很明显，Gemma代表谷歌大模型策略的转变：兼顾开源和闭源，开源主打性能最强大的小规模模型，希望脚踢Meta和 Mistral；闭源主打规模大的效果最好的大模型，希望尽快追上OpenAI。
大模型到底要做开源还是闭源？
张俊林的判断是，如果是做当前最强大的大模型，目前看还是要拼模型规模，这方面开源模型相对闭源模型处于明显劣势，短期内难以追上GPT-4或 GPT-4V。而且这种类型的大模型，即使是开源，也只能仰仗谷歌或者Meta这种财大气粗的大公司，主要是太消耗资源了，一般人玩不起。国内这方面阿里千问系列做得比较好，肯把比较大规模的模型开源出来，当然肯定不是最好的，不过这也很难得了。
而在开源领域，张俊林的判断是应该把主要精力放在开发并开源出性能足够强的“小规模大模型”上（SLLM，Small Large Language Model），因此谷歌的开源策略是非常合理的。
目前看，作出强大的SLLM并没有太多技巧，主要是把模型压小的基础上，大量增加训练数据的规模，数据质量方面则是增加数学、代码等数据来提升模型的推理能力。比如Gemma 7B用 6万亿Token数据，外界猜测Mistral 7B使用了7 万亿Token数据，两者也应该大量采用了增强推理能力的训练数据。
所以SLLM模型的性能天花板目前也没有到头，只要有更多更高质量的数据，就能持续提升SLLM模型的效果，仍然有很大空间。
而且SLLM相对GPT-4这种追求最强效果的模型比，训练成本低得多，而因为模型规模小，推理成本也极低，只要持续优化效果，从应用层面，大家肯定会比较积极地部署SLLM用来实战的，市场潜力巨大。也就是说，SLLM应该是没有太多资源，但是还是有一些资源的大模型公司必争之地。
张俊林相信，2024年开源SLLM会有黑马出现。
2.大模型打压链
从今天起，Gemma在全球范围内开放使用。该模型的关键细节如下：
发布了两种权重规模的模型：Gemma 2B和 Gemma 7B。每种规模都有预训练和指令微调版本。
新的Responsible Generative AI Toolkit为使用Gemma创建更安全的AI应用程序提供指导和必备工具。
通过原生Keras 3.0为所有主要框架（JAX、PyTorch和 TensorFlow）提供推理和监督微调（SFT）的工具链。
上手即用Colab和 Kaggle notebooks，以及与Hugging Face、MaxText和 NVIDIA NeMo等受欢迎的工具集成，让开始使用Gemma变得简单容易。
经过预训练和指令微调的Gemma模型可以在笔记本电脑、工作站或Google Cloud上运行，并可轻松部署在Vertex AI和 Google Kubernetes Engine（GKE）上。
基于多个AI硬件平台进行优化，其中包括NVIDIA GPUs和 Google Cloud TPUs。
使用条款允许所有组织（无论规模大小）负责任地进行商用和分发。
Gemma是开源领域一股不可忽视的力量。根据谷歌给出的数据，性能超越Llama 2。
至此，大模型开源形成三巨头局面：谷歌Gemma、Meta LLama和欧洲的Mistral。
张俊林认为，大模型巨头混战形成了打压链局面：OpenAI处于链条顶端，主要打压对手是有潜力追上它的竞争对手：谷歌和Anthropic，Mistral估计也正在被列入OpenAI的打压列表中。打压链条为：OpenAI→Google&Anthropic&Mistral→Meta→其它大模型公司。
比如，谷歌上周发布的Gemini 1.5 Pro就是一个有代表性的案例，本身模型实例很强大，但在宣发策略上被Sora打到哑火；前年年底发布的ChatGPT也是临时赶工出来打压Anthropic的 Claude模型的。
张俊林对此判断：“OpenAI应该储备了一个用于打压对手的技术储备库，即使做得差不多了也隐而不发，专等竞争对手发布新产品的时候扔出来，以形成宣传优势。如果OpenAI判断对手的产品对自己的威胁越强，就越可能把技术储备库里最强的扔出来，比如ChatGPT和 Sora，都是大杀器级别的，这也侧面说明OpenAI比较认可Gemini 1.5和 Claude的实力。而这种打压策略很明显还会继续下去，以后我们仍然会经常看到类似的情景，不巧的是，可能其它公司比如谷歌也学会这招了，估计也很快会传导到国内大模型公司范围里。所以2024年会比较热闹，估计会有不少大戏上演。”
谷歌开源Gemma很明显是针对Meta和 Mistral而来。张俊林据此推测，Meta的 LLama 3很快就要发布了，或者Mistral最近会有新品发布。
注：文/赵健，文章来源：甲子光年(公众号ID：jazzyear)，本文为作者独立观点，不代表亿邦动力立场。
文章来源：甲子光年
