广告
加载中

Snowflake推出AI动态路由 最高可降3倍Token成本

亿邦动力 2026-08-20 15:31

2026年8月18日,Snowflake更新旗下Cortex AI网关,新增动态模型路由功能。企业部署规模化AI代理时,常出现单一模型适配所有任务的情况,简单查询使用高性能模型会造成成本浪费,复杂查询使用轻量化模型则无法满足能力要求,自动匹配对应模型的路由技术成为行业普遍解决方案。

用户选择自动模式后,系统会为每个任务自动匹配兼具质量与成本优势的模型。该功能的成本优化数据来自Snowflake内部测试,部分工作负载下Token成本最高可降低3倍。此前大量简单查询常由最高性能模型处理,导致响应成本过高、速度偏慢。

动态路由通过两套机制实现任务分发。一套为顾问模式,先由小模型尝试处理任务,无法完成时再调用大模型接续处理。另一套为基于历史查询训练的分类器,自动将简单问题分流到更轻量化的模型。自动路由为可选功能,用户可限定路由仅在单个或指定模型范围内运行,路由功能无单独收费,Snowflake AI服务仅按Token使用量计费,选择低成本模型对应账单直接降低,无额外路由服务费用。

路由功能与Snowflake现有数据治理访问权限完全打通。治理规则从数据层的角色访问控制延伸至模型层,用户角色对应可使用的模型范围,再延伸至代理层,代理权限可低于调用用户的权限。所有推理流程都在Snowflake安全边界内运行,不会流向外部服务商,境外开源模型也可在用户所属区域运行,满足数据驻留要求,中国研发的DeepSeek-V4-Flash、GLM-5.3均适配该规则。Snowflake此前收购的Natoma带来超过100个MCP连接器,可给代理分配限定范围的工具访问权限,例如电子邮件只读权限。

动态路由功能叠加了Snowflake此前推出的Horizon Context和Cortex Sense工具的上下文能力。缺少上下文支撑时,模型需要自行完成SQL编写测试、数据搜索等探索性步骤,通常需要调用更高性能的模型,成本更高。提前打包好的上下文可免去探索环节,更小更便宜的模型也能完成对应任务。系统还内置代理记忆,重复任务无需重新从零处理,记忆内容会作为上下文传递给模型。

当前整个行业都在向自动模型路由转型,Databricks、AWS、谷歌云、英伟达都已推出相关技术。SanjMo创始人兼负责人Sanjeev Mohan提及,Snowflake的核心优势并非路由功能本身,而是路由流程始终在受治理的数据边界内运行,自带访问控制、标签和成本核算能力。

目前模型路由赛道主要分为三类阵营。Databricks从数据工程和机器学习谱系角度切入治理,面向模型搭建训练团队。Snowflake从分析和访问控制角度切入,适配数据权限管理和跨业务单元用量核算需求。第三类为OpenRouter、LiteLLM等中性网关,以及Azure AI Foundry等超大规模云厂商路由产品,主打模型覆盖广度和避免厂商锁定。

模型路由已经是企业部署AI的必备选项。选择路由产品的核心是匹配自身已有的数据治理模式,而非单纯对比路由的速度或价格。手动选择模型在AI代理规模化部署后已经成为成本负担,团队仅部署少量代理时的模式在规模化后会导致大量无必要的推理成本支出。对于已经将数据和合规体系搭建在Snowflake上的企业,可保留数据在原有体系内、按团队核算成本的路由功能可直接解决推理成本管控问题。没有固定数据平台的企业,中性网关可实现跨更多模型路由,流程更为顺畅。

行业建议从业者不要先关注路由产品本身,应先匹配自身已有的受治理数据与平台投入情况,以及自身利润受推理成本影响的程度,再做选择。

免责声明:本内容全程由AI生成,请注意甄别信息。若存在信息错漏、理解偏差,欢迎随时指正。
如您发现问题,请发送邮件至 ai-content-feedback@ebrun.com 。

文章来源:亿邦动力

广告
微信
朋友圈

这么好看,分享一下?

朋友圈 分享

APP内打开

+1
+1
微信好友 朋友圈 新浪微博 QQ空间
关闭
收藏成功
发送
/140 0