广告
加载中

实测报告 | 接入DeepSeek!智齿科技AI Agent潜力升级!

龚作仁 2025/02/14 12:32

除夕开始霸榜热搜的DeepSeek,至今热度未减。因其极高的性价比,引得各方“摩拳擦掌”。

早在春节期间,智齿科技的产研团队就已经开始测试DeepSeek,并已完成初步接入。但对于AI Agent而言,DeepSeek仅是众多大模型的选项之一,我们需要找到其更加擅长的使用场景,为我们的客户提供针对性更强的大模型解决方案。

就在上周,我们已经完成了DeepSeek在几个典型复杂场景中的实战测试,以下是测试结论概览及场景测试详情,希望能够为您的智能客服业务带来新的启发。

测试结论概述

1. DeepSeek明显改善相似型号混淆、复杂逻辑计算的幻觉——非常适合零售电商,尤其适合3C数码、家电等型号多、价格计算逻辑多的品类;

2. DeepSeek对复杂逻辑长文、表格等学习素材的理解能力更强——适合如金融/保险等产品复杂、常用表格呈现材料的品类;

3. 对于简单的答疑、无需复杂理解计算的品类,DeepSeek表现与参照组大模型结果相似。

说明:此测试以“没有为大模型做任何调优训练”为前提条件,旨在测试DeepSeek更适合的应用场景。而我们为客户交付的所有大模型,均会进行长期的调优训练,不断提升回答准确度。

01

实测报告·DeepSeek可有效改善“幻觉”问题

测试方法

在每个测试场景中,为DeepSeek和参照组大模型同时上传相同的学习材料,在均未做任何训练调优的情况下,分别向两组大模型提出相同问题,观察回答结果的差异。

案例1

对「相似型号」的混淆:明显改善

上传材料

某型号的水箱容量说明:“PP水箱容量900ml,建议定期清洁水箱”。

测试提问

询问另一个“相似型号”的问题:“PP MAX的水箱容量是多少?“

说明:学习素材中并没有PP MAX型号的信息。

测试结果

参照模型:直接调用PP型号信息回复。——认知混淆,产生“幻觉”

DeepSeek:识别出“型号不一”,并回复“暂无信息”。——避免产生误导

案例2

对「复杂逻辑」的计算:表现突出

上传材料

关于“优惠券使用方法”的规则:“若在后使用的优惠券有门槛的,则系统将在减去前面已使用优惠券额度后的待实付金额基数上,再判定是否满足后续有使用门槛的优惠券的使用条件”。

测试提问

“我买了100元的商品,有1张100-10满减券,一张100-10店铺券,我最终需要支付多少?

说明:正确答案为90元。需要先判断优惠券的计算逻辑,多次运算后给出答案。

测试结果

参照模型:只考虑到客户有“2张”优惠券,未考虑到规则中的计算逻辑,得出错误答案为“80元”——回答错误,造成客户困扰

DeepSeek:根据规则计算出客户的订单金额“只够使用一张优惠券”,并给出多种选择方案,得出正确答案为“90元”。——独立解决问题

案例3

对「长文材料」的理解:准确完整

上传材料

关于“XX产品反应迟钝”的改善方法:材料内容较长,包含检查电量、系统更新、减少负载、网络连接、重启设备、检查环境等多项步骤。

测试提问

“反应太迟钝,速度太慢”。

测试结果

参照模型:仅回答了该产品的移动速度区别,并没有解决客户问题。——对学习材料/客户提问理解不清晰,回答错误。

DeepSeek:可以正确且全面的从产品层面回答问题。——完成独立解决

案例4

对「多维表格」的理解:调用更准

上传材料

一张“保险产品线-销售渠道”的二维表格,展现“每个产品的销售状态,及哪些产品正在哪些渠道上销售”。

(由于涉及客户隐私,此处不展现具体保险产品名称)

测试提问

XXX年金产品的购买时间和购买渠道”

说明:提问中涉及产品在表格中“未在官网和微信渠道”销售。

测试结果

·参照模型:产品销售状态回答正确,但销售渠道中包含了“官网和微信”渠道。——渠道回答不准确,可造成误导。

 DeepSeek:区分多款子产品的销售状态,且销售渠道回答正确。——完成独立解决

由上述典型场景测试可见:DeepSeek在未做训练调优前,对复杂材料的学习能力相对较强,且对提问的理解准确度、回复清晰度更优。

但受制于当前DeepSeek平台的热度及遭遇网络攻击的情况,我们在测试中还发现,DeepSeek会存在一定程度的超时或无响应,但这属于DeepSeek端业务承载力层面的临时意外情况,相信在当前形势推动下,DeepSeek将很快解决这一问题。

02

智齿应用·提供「解决方案级」AI Agent 智能客服

智齿科技AI Agent已经完成与DeepSeek的对接,目前正在推进十余家AI Agent老客户进行业务测试。但我们所做的,并不仅仅是帮助客户“对接”某个大模型。我们更希望将技术能力、应用能力、运营能力,以及过往对各行业的经验沉淀结合在一起,为客户提供「解决方案级」的AI Agent大模型智能客服应用。

通过部署智齿科技AI Agent产品,您将从以下多个方面,得到智齿为您提供的支持:

1. 最新的大模型技术对接

“智能化”是智齿科技的第一发展战略,尤其在新一代人工智能技术AI Agent领域的应用上,我们会紧跟前沿技术,快速对接新出现的优质大模型技术(如DeepSeek),并开展典型细分场景的高压测试,帮助企业“趟平智能化道路”。

2. 高响应度的解决方案策划

我们会结合每一位大模型客户的实际业务情况,定制针对性的大模型解决方案,完整策划大模型的选择、提升智能客服独立解决率策略,提供“千人千面”的交付服务

3. 持续调优陪跑

AI Agent的应用并不是一蹴而就,需要持续的对大模型进行学习辅助、错误标注、测试训练等,这要求AI训练师拥有丰富的经验及细致的打磨。智齿科技经验丰富的AI训练师,能够帮助企业持续陪跑,不断调优AI Agent的表现。

除了独立运营的AI Agent产品之外,智齿科技还拥有AI Copilot智能辅助、AI Insight智能洞察的全方位智能化能力,将为企业打造完整的AI客户联络中心,有效提升客户联络的综合效率。

注:文/龚作仁,文章来源:Laborer,本文为作者独立观点,不代表亿邦动力立场。

文章来源:Laborer

广告
微信
朋友圈

这么好看,分享一下?

朋友圈 分享

APP内打开

+1
+1
微信好友 朋友圈 新浪微博 QQ空间
关闭
收藏成功
发送
/140 0