OpenAI与谷歌同一天发布的两款AI模型正在“互相伤害”。
先是OpenAI的 “世界模拟器”Sora完全抢走了谷歌最新一代多模态大模型Gemini 1.5 Pro的风头，让谷歌这出大招反响平平。谷歌也被戏称为“AI界的汪峰”。
很快，谷歌Gemini 1.5 Pro就来给Sora“拆台”了。
一名谷歌董事将一条Sora生成的视频发给Gemini 1.5 Pro，让其点评一下。Gemini 1.5 Pro犀利指出了视频中不合逻辑的地方——
这段视频是在日本一条雪街上拍摄的，樱花盛开。有一些不一致之处表明这段视频可能是由人工智能生成的。
首先，雪花纷纷扬扬地飘落，但樱花依然盛开。樱花通常在春天盛开，当天气温暖而没有雪。
其次，雪以非常均匀的方式下落，这并不是雪在现实生活中通常下落的方式。
第三，视频中的人们没有穿任何冬季衣物，尽管下着大雪。
总的来说，这个视频在视觉上很吸引人，但不一致之处表明这不是一个真实场景。
谷歌应该是最有实力改变大模型格局、给OpenAI带来压力的玩家。这次与Sora互相拆台的Gemini 1.5 Pro，实力究竟如何？
1.第一波评测出炉，Gemini 1.5 Pro表现如何？
谷歌Gemini 1.5 Pro是一个多模态模型，可以为不同模态执行高度复杂的理解和推理任务，同时可以在更长的代码块中执行更相关的问题解决任务。
不过，Gemini 1.5 Pro目前尚未对公众开放，仅有少数用户加入内测，AI工具库网站Therundown.ai创始人Rowan Cheung便是其中之一。
2月19日，Rowan Cheung在 X上发布了Gemini 1.5 Pro的六项能力测评。
1.分析和理解长视频
Rowan Cheung上传了前一晚NBA扣篮大赛的整个视频，并询问哪个扣篮得分最高。
Gemini 1.5凭借其出色的长上下文视频理解能力，能够从视频中找到得分最高的完美50分扣篮及其细节！
2.理解和比较《星际穿越》《星际探索》的完整电影剧本
Gemini 1.5能够理解、比较并对比这两部电影的完整剧本，帮助Rowan Cheung决定应该看哪部电影。
3.将语言翻译成只有不到 2000 人使用的语言
Gemini 1.5能够在推理时遵循完整的语言手册，将英语翻译成Saterlandic（德国的一种语言，只有不到2000人使用）。
4.观看、理解和区分 OpenAI Sora 视频中的内容是否由 AI 生成
Gemini 1.5突出显示了著名的Sora猫视频，并强调了为什么它可能是由AI生成的关键因素。
Rowan Cheung直呼“对它的回答深度感到惊讶”。
5.在一篇长论文中找到、理解并解释一个小图表
Gemini 1.5能够从DeepMind的 Gemini 1.5 Pro论文中提取出“表8”，并解释了该表的含义。
6.理解整部《星际穿越》电影剧本，并突出关键时刻
Gemini 1.5能够找出《星际穿越》剧本中的3 句最鼓舞人心的引语。
2.背后的两大技术“杀招”
Gemini 1.5 Pro有两大“杀招”——最强的MoE大模型，最高可支持10000K token超长上下文。
1.高效的 MoE 架构
Gemini 1.5 Pro建立在谷歌关于Transformer和 MoE（Mixture of Experts，混合专家）架构的领先研究之上。传统的Transformer作为一个大型神经网络运作，而MoE模型被划分为较小的“专家”神经网络。
MoE是一种混合模型，由多个子模型（即专家）组成，每个子模型都是一个局部模型，专门处理输入空间的一个子集。MoE的核心思想是使用一个门控网络来决定每个数据应该被哪个模型去训练，从而减轻不同类型样本之间的干扰。
基于MoE架构，与Gemini 1.0 Ultra相比，尽管Gemini 1.5 Pro的训练计算需求大大减少，但服务效率更高，在超过半数的评测指标上（16/31）表现更出色，特别是在文本处理（10/13）和多项视觉处理任务（6/13）上。
Gemini 1.5 Pro与Gemini 1.0系列比较
MoE架构已经在大模型圈火了一段时间，比如被称为“欧洲版OpenAI”的法国大模型公司Mistral AI，其8x7B模型就采用了MoE架构。微软紧跟着发布了全新版本的Phi-2小模型；猎豹移动董事长 &CEO傅盛近期对「甲子光年」表示，公司接下来也会考虑在模型中引入MoE架构。
“老大哥”谷歌在MoE路线上也早有布局，已经有Sparsely-Gated MoE、GShard-Transformer、Switch-Transformer、M4等成果。
谷歌最新的模型架构创新使Gemini 1.5 Pro能够更快地学习复杂任务并保持质量，同时在训练和服务上更加高效。
2.支持超长的上下文窗口
去年下半年，各家大模型公司便开始卷上下文窗口的长度。
AI模型的“上下文窗口”由Token组成，这些Token是用于处理信息的基本构建块，Token可以是单词、图像、视频、音频或代码的部分或子部分。模型的上下文窗口越大，它在给定提示中能够吸收和处理的信息就越多，进而能使模型输出更加一致、相关性强且有用的内容。
通过一系列机器学习创新，谷歌增加了Gemini 1.5 Pro的上下文窗口容量，并实现在生产中运行高达100万个Token，远超32k的 Gemini 1.0、128k的 GPT-4 Turbo、200k的 Claude 2.1。
这意味着Gemini 1.5 Pro可以一次性处理大量信息——包括1小时的视频、11小时的音频、超过30000行代码的代码库或超过700000个单词。
谷歌还透露，内部研究已经成功测试了高达1000万个Token。
在给定的提示中，Gemini 1.5 Pro可以无缝分析、分类和总结大量内容。例如，当给出阿波罗11号登月任务的402页记录时，它可以推理关于对话、事件和文档中的细节。
在现实世界数据中，这种上下文长度让Gemini 1.5 Pro能够轻松处理几乎一天的音频记录（约22小时）、超过《战争与和平》1440页（或587287词）的书籍十倍的内容、Flax整个代码库（41070行代码），或者以每秒一帧的速度播放的三小时视频。
更进一步，由于该模型天生支持多模态，并能够将不同模态的数据混合在同一个输入序列中，它能同时处理音频、视觉、文本和代码输入。
在被称为“大海捞针”的NIAH实验评估中，实验人员故意将包含特定事实或陈述的小文本片段放置在长文本块中，在长达100万个Token的数据块中，Gemini 1.5 Pro能够99% 的概率找到嵌入的文本。
Gemini 1.5 Pro在所有模态（即文本、视频和音频）中实现了接近完美的“针”召回率（>99.7%），即使在“干草堆”中达到100万个标记。它甚至在文本模态中扩展到1000万个标记（大约700万字）、音频模态中达到200万个标记（长达22小时）、视频模态中达到280万个标记（长达3小时）时仍保持这种召回性能。x轴代表上下文窗口，y轴代表在给定上下文长度中放置的“针”的深度百分比。结果用颜色编码表示：绿色表示成功检索，红色表示失败。
3.谷歌不走OpenAI的老路
在Sora的技术文档里，OpenAI并没有透露模型的技术细节，只是表达了一个核心理念——Scale。
OpenAI将 Scale列为企业核心价值观之一：“我们相信规模——在我们的模型、系统、自身、过程以及抱负中——具有魔力。当有疑问时，就扩大规模。”
基于该理念，OpenAI在 2020年总结出了模型训练的秘诀——Scaling Law。根据Scaling Law，模型性能会在大算力、大参数、大数据的基础上像摩尔定律一样持续提升，不仅适用于语言模型，也适用于多模态模型。
不过，目前来看，谷歌似乎并不吃Scaling Law这一套。
在最新访谈中，哈萨比斯表示：“你必须推动现有技术，看看它们能走多远，但仅仅扩大现有技术，你很难获得新的能力。如规划、工具使用或代理行为，这些不会神奇地发生。”
他进一步透露，自从AlphaGo时代以来，谷歌已经在Agent、强化学习和规划的路上走了很长时间，这是谷歌真正的强项。“我们正在重新审视很多想法，考虑将 AlphaGo 的能力建立在这些大型模型之上，我认为内省和规划能力将有助于解决幻觉等问题。”
可以推测，谷歌正在试图搭建一个系统，来引导模型更有逻辑地思考，而并非一味追寻OpenAI的暴力美学路径。
毕竟，从科研角度来说，暴力美学的“黑盒”不够透明，且很难复制；从实际应用来说，暴力美学的成果也并不安全。
哈萨比斯则一直倡导建立模拟沙箱，在将Agent系统放在网上之前对其进行测试，也呼吁行业应该开始真正考虑Agent系统的出现。在他看来，Agent系统将是一个完全不同的系统。
对于“模拟沙箱”的方法，国内大模型初创公司面壁智能在“小钢炮”MiniCPM模型中也有应用。发布MiniCPM之前，面壁智能做了上千次的模型沙盒实验，探索出了最优的配制，所有尺寸的模型可以通过最优的超参数的配制，保证训练任意大小的模型取得最好的效果。
可以说，模拟沙盒的方法，或许能将大模型的训练过程从“炼丹”转化为一种“实验科学”。
无论是单纯的语言模型还是多模态，围绕LLM展开的技术与商业竞争都还处在早期，一切定论或许都为时尚早。OpenAI伟大，但不应被神化。
Diffusion Transformer架构论文的作者之一的谢赛宁认为，在复杂AI系统的比拼中，人才第一、数据第二、算力第三，而谷歌是目前为止最能和OpenAI掰一掰手腕的老玩家，期待谷歌的后续表现。
注：文/刘杨楠，文章来源：甲子光年(公众号ID：jazzyear)，本文为作者独立观点，不代表亿邦动力立场。
文章来源：甲子光年
