广告
加载中

蒙牛加速落地大模型:自研平台 培训prompt 跑通应用

胡镤心 2024/01/22 18:20

15分钟创建一个AI应用,应用市场发布AI应用近千个,调用次数超60万次,2023年通过AIGC生成海报9.4万张,为消费者提供咨询服务超过20万次,培训prompt工程师超过370人。这是蒙牛集团2023年的大模型实践成果。

大模型技术一边以超群智力惊艳世界,一边以难闭环困扰产业。技术升级带来的难题绝不止ROI计算那么简单,企业要选择合适的模型底座,找到相应的业务场景,还要调整组织结构,适应新工具发展。

蒙牛集团在2023年8月4日推出MENGNIU.GPT,同时推出面向消费者的营养健康服务整合平台"WOW健康+",为消费者提供包括健康评估、营养计划制定、运动计划制定、中式养生计划、个性化营养建议、营养配餐、智能共情陪伴、智能提醒、过程辅导和激励、目标和计划动态调整等一系列服务。

在大模型应用方面,蒙牛集团不仅完成了当下所有主流开源大模型的私有化部署,而且完成了现阶段所有主流通用大模型的接入,在此基础上,蒙牛集团可以基于不同的业务应用场景,完成定制逻辑和通用逻辑的随意切换,而且可以基于不同业务场景快速生成prompt。

在智谱AI技术开放日上,蒙牛集团首席技术官皮人伟分享了蒙牛集团落地大模型的实践和思考。

以下为皮人伟演讲全文,经亿邦动力编辑整理:

各位同行各位伙伴大家好,今天我带来分享主题包括三个部分,分别是蒙牛集团的场景布局、落地实践及应用建议。

蒙牛集团是一家知名乳企,世界排名第八,年销售额过千亿,有41家工厂及近千家牧场。蒙牛集团对数字化转型也特别重视,将AI战略作为数字化转型的核心驱动引擎。但是我们在启动AIGC战略时也遇到了不小的挑战,特别是在立项之初,遇到公司严格的立项要求,对AIGC项目有如下三个比较严苛的要求:

希望它能够在技术上具有领先同行的技术架构和技术选型;

希望它能够在功能上满足业务方的需求,同时可以做到横向扩展,开箱即用;

希望在效果上降本增效,同时拥有大部分核心知识产权。

基于此,我们采用的是识别问题、产研解决的工作路径。在整个项目启动的过程中,我们识别了三个关键点,分别是信息获取、自主决策以及命令执行。

在信息获取的过程中,我们通过产研实现的方式完成了人工定制管线,以及Agent调用搜索引擎之间的快速切换。

在自主执行中,我们同样用产研执行策略解决三个难题,分别是Agent状态机、prompt库以及大模型的调用方式。

在Agent状态机上,我们通过产研方式,基于不同的业务应用场景,完成定制逻辑和通用逻辑的随意切换。同时我们也通过通用工程优化,实现基于不同业务场景快速生成prompt。

当然最关键的还是大模型如何调用的问题。我们基于成本、质量、效能三者之间的考虑,看看是基于开源大模型做私有化部署,还是将闭源大模型作为我们的技术底座。

在这两点确认之后,第三个就简单一些,就是所谓的命令执行,调用第三方软件的API借口以及引导大模型使用。

工作路径确定了,我们的产研计划也相对简单:

第一步,完成所有通用主流大模型的状况分析和评估。

第二步,我们选定了营养健康领域和我们蒙牛私有领域,最终确定了我们垂直领域的私有模型,在此过程中,通过不断优化调试,使其靠谱可用。到现在为止,我们累计已经通过了22个国内外的专项考试,来确保我们私有领域模型靠谱可用。

第三步,我们启动通用领域平台建设和垂直应用工具建设。

我们的大模型也就是AISM通用平台的技术架构,包括三个方面:底层调度引擎,中间场景工厂,上部使能中心。

在调度引擎方面,我们已经完成了现在所有主流开源大模型的私有化部署,包括了GLM-130b、SD、LlaMa等。同时我们也完成了现阶段所有主流通用大模型的接入,这里包括文心一言、通义千问、混元等。

中间场景工厂则是prompt以及模型调优的工程化,它主要是将核心数据和生成内容进行本地化存储。

最上面的使能中心,可以调用预训练模型和我们自己的私有文档,同时处理异常状态下的内存、长文本、令牌溢出等问题。

我们确定了要怎么做,也确定了我们大概的技术架构,接下来要进行场景识别,也就是哪些可以做,哪些缓着做。

各位可以看到纵向是能力,横向是业务分类,据此我们确定哪些项目可以先点亮执行,哪些等到技术成熟之后我们再启动研发。

在此过程中,我们形成了蒙牛AIGC的落地实践方式,也是三个环节:AI扩散,全民AI和AI应用。

第一,AI扩散。我们用8个月的时间自研上线了蒙牛的AIGC通用能力平台AISM,在2023年8月4日的世界乳业大会正式发布,共计有10大功能,包括多模态生成器,数字分身、文生图、图生图、ChatBI、知识银行、企业大脑等,让用户更快体验AI工具。

第二,我们要做到全民AI。截止到上个月,我们累计进行了4次大规模的prompt工程师的培训,经过培训的工程师可以在15分钟创建一个AI应用,我们现在共有近千个AI技能在我们的应用市场上发布,每周的调用数量超过了6000次。

第三,有了横向平台,有了人员储备,这时再跑AI应用就显得水到渠成。我们也在很短的时间内发布了全球首个营养健康领域的大模型MENGNIU.GPT,同时以它为基础,为我们的C端触点"WOW健康+"平台提供相关的信息服务和咨询服务。同时我们有多端触屏的数字分身,AI萌萌以及聚焦营销领域的AI投手。

近一年多的工作和实力我们取得了如下的效果,共计经过合格验证的prompt工程师超过370人,累计有9.4万张海报生成,为消费者提供相关的顾问咨询服务次数超过20万次,AI应用的调用次数也达到了60万次。

当然在具体落地实施执行的过程中,我们也有一些经验与各位做一个简要的分享。

第一,出于成本、质量、效能、合规性角度看,智谱AI的GML-130b是我们很重要的技术合作伙伴。

第二,各位一定要重视工程师文化和代码文化,这是解决浮夸陷阱的重要助手。换句话说,我们尽量多要demo,少要一些概念。

第三,AIGC作为生产力提升工具,绝对是革命性的,但是我们要重视AI的培训和训练,形成更多案例向外部进行分享。这么做的目的也是使我们成为布道师,不断推进行业往前走。

第四,从demo一直到生产发布,这中间确实有个很漫长的过程,没有捷径,只能通过不断做项目,不断投入时间来解决。因此我们在走AIGC赋能应用产业和垂直链条这条路的时候,一定要保持定力。

第五,由于种种原因,文本生成具有先发优势,但是多模态生成未来将成为智能决策成功的关键,我们要对此保持实时关注。

第六,我们还是要重视内容和信息供给的广泛性和真实性,尽量给予信息供给方和创作者生态比较宽松的环境,使我们日后的内容供给数量更加多。

最后,是针对b端领域的一些小的建议,我们认为生成式AI和判别式AI可以混着用,调用供众多厂商的AI技能,这样避免被技术卡脖子或者是高成本风险。以上是我今天的分享内容,感谢各位。

文章来源:亿邦动力

广告
微信
朋友圈

这么好看,分享一下?

朋友圈 分享
+1
+1
微信好友 朋友圈 新浪微博 QQ空间
关闭
收藏成功
发送
/140 0