近期,关于生成式AI产品和产业的诸多质疑声不断发酵。
北京时间5月25日,美国普渡大学发表的一项研究显示,ChatGPT对Stack Overflow上517个关于代码开发问题进行分析,最终显示,AI输出的答案中,有52%包含错误信息,77%的答案比人类答案要更冗长,而78%的答案与人类存在不一致状况。
研究人员称,ChatGPT仍然存在重大的缺陷,经常会凭空产生完全错误的答案,并且这个错误比例高得惊人。
与此同时,谷歌日前发布的全新AI搜索产品“AI Overview”被网友曝光AI回答频频出错,包括建议“往披萨上抹胶水”、“吃石头对身体好”等回答,它甚至还会告诉你,互联网上的一切是100%真实的,因此这遭到网友广泛批评;另外,估值超10亿美元的Adept、估值7.5亿美元的Humane、AI独角兽Stability AI等多家AI公司被曝光并购或“卖身”。
5月国内大模型“价格战”降价后信息汇总(来源:钛媒体App编辑整理)
如果再加上过去一个月内国内集体进入的大模型API“价格战”。很显然,随着新一轮AI热潮进入“深水区”,当AI还没改变世界之前,如今却已经遭到人类的“围剿”。
AI产品受质疑:ChatGPT出现52%的错误率,谷歌AI“大翻车”
首先,从ChatGPT编程问题遭遇52%的回答错误率开始说起。
据futurism报道,美国普渡大学研究人员本月在计算机会议ACM上展示的一项研究成果表明,ChatGPT AI生成的编程答案中,有52%的回答包含错误信息,77%的回答过于冗长。
这篇共计17页的论文当中,研究人员深入分析ChatGPT对Stack Overflow上517个编程问题的回答,考察了这些回答的正确性、一致性、全面性和简洁性。尽管研究发现ChatGPT回答存在错误信息,但研究参与者当中,仍有35%的时间倾向于选择ChatGPT的回答,因为它们全面且语言表达清晰。
研究方法上,论文作者以手动分析、语言学分析、用户研究三个部分展开。
手动分析:对ChatGPT的回答进行手动分析,与Stack Overflow上人类程序员提供的接受答案进行比较。
语言学分析:对2000个随机抽取的Stack Overflow问题进行语言学分析,使用LIWC工具和情感分析。
用户研究:与12名程序员进行用户研究,了解他们对ChatGPT和Stack Overflow答案的偏好。
最后发现,ChatGPT的回答在很多情况下表现得非常好,但也频繁出错,并且不必要地延长了回答。
同时,ChatGPT回答具有更丰富的语言学特征,导致一些用户更倾向于选择ChatGPT而非人类回答,并有时忽视ChatGPT回答中的基本错误和不一致性。数据显示,有39%的参与者忽视了ChatGPT回答中的误导信息。这表明需要对抗ChatGPT回答中的误导信息,并提高人们对看似正确答案的风险意识。
另外,用户通常能够正确区分ChatGPT回答和人类回答,他们寻找诸如正式语言、结构化写作、回答长度或不寻常的错误等因素来决定答案的来源。而且,论文还讨论了ChatGPT在编程中的挑战和风险,并提出了设计新的交互和计算方法来对抗ChatGPT生成的误导信息的机会。
有分析认为,这篇论文的研究成果对于理解ChatGPT在编程领域的应用及其潜在问题具有重要意义,并为未来的研究和实践提供了指导。
其次,谷歌AI“大翻车”事件引发关注。
最近,谷歌在I/O开发者大会上宣布,其搜索产品新增名为“AI Overview”的功能,它可以在搜索结果的最顶部直接展示一个简短的答案。例如,如果你搜索“如何清洁皮靴”,系统就会立即显示一个综合了网络信息的多步骤清洁指南。这个功能让你能迅速获得信息,无需逐一查看各个网页。
然而,使用不到两周,由于AI Overview频频提供“离谱”的错误答案,遭到了网友的大量批评,而且用户还不能选择关闭这个功能。
比如,当一位用户搜索“芝士不粘披萨”时,AI Overview建议用户在酱汁中添加“大约1/8杯无毒胶水”。有网友发现,这个建议似乎源自11年前的一条无人问津的Reddit评论。
再比如,用户提问:“在网上看到的信息都是真的吗?”。AI Overview回答:“是的。互联网上的一切都是100%真实的。”。
有时候AI Overview功能呈现的错误信息,会误导用户以为是权威医疗专家或科学家的观点。
例如,当用户询问“我每天应该吃多少石头”时,该工具错误地引用加州大学伯克利分校地质学家的话称:“人们每天至少应该吃一块小石头”,并继续列出吃石头的好处,比如岩石是人体维生素和矿物质的重要来源,吃石头对消化健康有好处.
当被问及谷歌搜索是否违反反垄断法时,AI Overview回答说:“是的,美国司法部和11个州正在起诉谷歌涉嫌违反反垄断法。”
对此,谷歌发言人表示,“绝大多数AI Overview提供的信息质量都很高,并且会提供更多网页链接供用户深入了解。我们注意到很多示例都是不常见的查询,也有一些是被篡改的或者他们无法复现的例子。这个功能在推出前已经进行了大量测试,并且公司会在必要时快速采取行动来确保内容的准确性。”
不仅仅是AI Overview工具,谷歌在今年2月推出的另一个名为Gemini的图像生成工具也频频出错,导致该工具被暂停使用。例如,有用户在社交媒体上分享,他在查询谷歌创始人时,该工具展示了一幅亚洲男性的图像。
谷歌当时在一份声明中表示,它正在努力修复Gemini的图像生成问题,承认该工具“未达到标准”。不久之后,公司宣布将立即“暂停生成人物图像”,并“很快重新发布改进版本”,但至今尚未再次推出。
最后,是近两天美国AI市场进入新一轮洗牌,独角兽们集体遭遇“卖身”。
据报道,Transformer作者Ashish Vaswani、Niki Palmer和David Luan成立的大模型公司Adept传出被卖消息。公司估值10亿美元,此前已获得4亿美元的融资,参投机构包括Frontiers Capital、微软、英伟达等。据悉,Adept已经和Meta进行过沟通。
目前,公司两位联合创始人Ashish Vaswani、Niki Palmer已经成立了另一家AI办公自动化公司Essential AI。
同时,有消息称,红极一时的可穿戴AI设备公司Humane AI Pin,也在与一名财务顾问接触,寻找意向买家,目标价格是7.5-10亿美元。此前,该公司获得微软、高通,以及OpenAI CEO奥尔特曼等人数亿元的融资支持。
另外,AI图片生成领域开拓者、Stable Diffusion打造者Stability AI被曝光公司团队考虑求合并,但具体进度不得而知。而AI搜索龙头Perplexity曾在1月传出相关消息。不过随着后面马上官宣了B轮7360万美元融资,求收购计划疑似中止,最近还被曝正寻求更新一轮融资,金额可能达到2.5亿美元。
很显然,不管出于何种原因,大模型领域进入了新一轮洗牌期。据PitchBook统计,过去3年中,全球大约2.6万家创企共计融资了3300亿美元。
有市场分析称,生成式AI产业投资正在呈现方向性转移,模型层投融资“雪球效应”明显,资源向头部聚集,潜在资本重点看向应用层。
红杉资本在近期举行的AI Ascent 2024上表示,2023年,各家AI公司在英伟达GPU上大手一挥,已经花去500亿美元,但由此产生的收入才有30亿美元。
谷歌DeepMind首席执行官德米斯·哈萨比斯(Demis Hassabis)直言,AI遭遇过度炒作,估值过于高昂,“泡沫”需要软着陆。
金沙江创投主管合伙人朱啸虎曾指出,大模型商业模式太差,技术没有差太多的情况下,每一代技术都要投,现在可能3.5版本要投入几千万美元,迭代到4版本要几亿美元,到5版本可能要几十亿美元,每一代模型都要重新去投入,而变现周期可能就两三年,“这比发电厂还要差”。
美国经济学家泰勒·考恩(Tyler Cowen)认为,AI炒作已经消退,但革命仍在继续。
国内大模型价格战加剧,市场将迎来新一轮洗牌
相对于国外的AI质疑和企业被迫出售环境,国内AI领域竞争加剧,阿里、腾讯、字节、百度、讯飞、智谱、DeepSeek集体加入价格战。
5月6日:私募基金幻方量化孵化的DeepSeek(深度求索)初创大模型公司发起降价,对标GPT-4的模型DeepSeek-V2的输入价格定为1元/百万tokens。
5月12日、13日:智谱AI的GLM-3-Turbo模型和面壁智能模型展开价格攻防,后者宣布0元购。
5月15日:字节跳动旗下火山引擎AI大模型豆包(原名:云雀)宣布,主力模型定价比行业价格水平要便宜99.3%,豆包大模型的API输入价格是0.0008元/千tokens,即1元在豆包能买到125万tokens。
5月21日上午,阿里云宣布,9款通义大模型降价,其中,性能对标GPT-4的主力模型Qwen-Long,API输入价格从0.02元/千tokens降至0.0005元/千tokens,直降97%,也就是1块钱能买200万tokens,相当于5本《新华字典》的文字量。而刚发布不久的通义千问超大杯Qwen-max,API输入价格也直降67%,低至0.02元/千tokens。开源方面,Qwen1.5-72B、Qwen1.5-110B等5款开源模型的输入价格也分别直降75%以上。
5月21日下午,百度发文宣布,旗下两款大模型ERNIE Speed、ERNIE Lite免费。
5月22日,腾讯公布全新大模型升级方案,主力模型之一的混元-lite模型不仅从4k升级到256k,而且全面免费;其他模型除了长度升级外,价格也都大幅下降。
5月22日中午:科大讯飞宣布,讯飞星火API能力正式免费开放。其中,讯飞星火Lite API永久免费开放,讯飞星火Pro/Max API低至0.21元/万tokens。
对此次价格战,大家褒贬不一,一方面是认为利好大模型市场发展,另一方面则认为AI“泡沫”即将破灭、新一轮洗牌到来,观点并不一致。
其中,阿里云智能集团资深副总裁、公共云事业部总裁刘伟光表示,“(降价)它的目的一定是普惠于市场”,“要真正加速市场的提前爆发”。
火山引擎总裁谭待表示,降价的主要原因在于,今年行业大模型能力大幅提升,做应用这件事变得很重要,也就是一定要将生态做繁荣。谭待称目前接触的很多客户都在做大模型方面的尝试,但创新这件事的风险度很高,尤其在AI领域,因此需要将成本降低,拉动大家更广泛地使用起来。从这个角度来讲,不论是大企业还是个人,都需要更低成本、更高质量的大模型。
但彭博分析师Robert Lea和Jasmine Lyu在最新报告中认为,“中国在AI盈利方面将面临着漫长的道路,行业洗牌可能会推动该行业盈利,尽管在一个资本过剩的行业中,但这种(行业盈利)情况似乎不太可能很快发生。”
零一万物CEO李开复对钛媒体App表示,推理成本将每年降10倍,但疯狂降价是双输。
“因为今天API跟模型调用还是一个非常低的比例,如果一年推理降低10倍,众多的人可以用上,这是一个非常利好消息。”但另一方面,李开复却认为,按照现在国内市场‘卷’的情况,几十万做个POC(概念验证),几百万做一单,做一单、赔一单的生意,“我们早期在AI 1.0时代看多了、投多了,(如今)我们坚决不做(赔钱生意)。”
百川智能创始人、CEO王小川则向钛媒体App指出,价格免费是优势,但不一定是竞争力。大模型价格战会加速泡沫周期,直接导致尾部部分企业会退出赛道。
“我们做C端的就别掺合了,”王小川直言,这种价格战与C端无关。同时,免费之后,整个To B市场会繁荣的更快,因为大家更愿意尝试使用这个模型,价值空间是有的,但尾部公司会退出这个赛道。
王小川强调,“涨潮退潮最后才会有珍珠,但一定有它的一种泡沫在这里,会加速泡沫周期,也让它变得更加繁荣,这是商业里面必然出现的一个事情。”
整体来看,无论是产品质疑、企业卖身,还是国内这轮AI大模型价格战,都在说明行业面临新一轮洗牌和热潮降温。但是,不断变革的AI技术对于各行各业发展仍然非常重要。
市场调研机构IDC最新数据显示,2024年,全球生成式AI支出为403亿美元,其中生成式AI基础设施、模型和平台、应用、服务支出分别占比为45.41%、11.66%、15.63%、27.30%,到2027年,全球生成式AI年支出将达到1510亿美元,占全球AI支出的比例为29%。
IDC分析认为,2024年,中国基础大模型数量将减少,逐渐转变为针对产业落地的行业大模型比拼,在模型框架、开发者工具、基础大模型、部署和推理工具等维度上会呈现开源和闭源共存。同时,随着苹果、小米、荣耀等厂商陆续发布支持端侧AI推理的芯片或模型,AI落地端侧成为终端厂商趋势,端侧AI推理可以实现更高的处理效率、更好的隐私保护和全新的用户体验方式。预计2025年前,生成式AI的机会还停留在基础设施,2025-2026年向生成式AI平台和方案过度,2026年之后生成式AI服务的机会将全面爆发。
中国科学院科技战略咨询研究院研究员肖尤丹表示,经历了大浪淘沙、生存下来的AI大模型企业,将迎来新一轮的快速发展机遇。
谷歌DeepMind联合创始人Demis Hassabis预测,通用人工智能(AGI)有望在2030年实现。
注:文/林志佳,文章来源:钛媒体(公众号ID:taimeiti),本文为作者独立观点,不代表亿邦动力立场。
文章来源:钛媒体