广告
加载中

大模型新难题:算力语料逼近极限 安全合规重要性凸显

胡镤心 2023/07/21 18:37

【亿邦原创】大模型火了半年,关于它的突破、优势、变革常常霸屏社交媒体。但进入下半年,大模型的产业化、合规化问题逐渐浮出水面。

7月20日下午,由北京市委网信办指导、首都互联网协会主办、品玩承办的首届“青年思享会”青年先锋论坛活动在京举办,论坛以“人工智能的机遇和挑战”为主题,邀请了来自中国科学院的专家学者,以及百度、奇安信、科大讯飞、向量数据库Zilliz、云测数据、映宇宙、易观分析、中科闻歌等企业的前沿探索着,共同探讨在人工智能的背景下,大语言模型的技术路径、商业化落地、产业化发展和生态系统建设,力求“全景式”解锁大模型的真实面貌。

1、我们为什么需要大模型?

大模型出现的原因,简言之是为了克服上一代模型的高成本、长周期、不可复制的问题。

中国科学院计算所多语言大模型“百聆”负责人、计算所研究员、博士生导师冯洋介绍,上一代AI范式是神经网络+监督学习,存在的问题是任务单一、需要大量标注数据、可迁移性差。改进的思路也早已有之,就是实现多任务学习、无监督学习,并增强泛化性,这就是预训练+微调的解决方法,我们现在称之为大模型。

基于这一解决方法,大模型包括三个部分:上游是预训练语言模型;下游是针对通用任务或特定任务的微调。最后要与人类对齐,基于人类反馈进行强化学习。

只不过大数据量对应着高成本。Alphabet董事长Hennessy指出,基于大型语言模型的搜索成本可能是标准关键词搜索的10倍。

同时,算力、语料资源都在逼近极限,网络安全也日益被重视。

冯洋指出,大模型的训练算力增长速度超越芯片摩尔定律,大模型的算力需求是3-4个月翻一倍,头部公司每年增长10倍,而晶体管每2年增长1倍,深度学习逼近算力的物理极限。算力规模进入平台期,参数量增大的边际效应递减。高质量文本数据几乎被完全利用,低质量语料也将在2025被用完。

同时,大模型的安全问题也被进入公众视野。奇安信首席安全专家翟胜军指出,当下网络攻击机器人可以从漏洞挖掘到恶意代码编写,到渗透攻击,完全自动化。而且机器人容易复制拷贝,能够组织成千上万攻击元,使得“特大规模战役”成为可能。

如何判断大模型的输出是否安全,如何消除信息中的偏见和毒性,成为对大模型的应用考验。

2、大模型如何应对安全问题?

中科院百聆大模型通过交互式机器翻译来避免数据标注,同时提升语言生成和与人类对齐的能力。冯洋介绍,中科院百聆大模型通过语言对齐、复合任务、以人类为中心、高质量数据集来提升大模型的可用性。

百度AI技术生态总经理马艳军指出,百度文心大模型则在通用的有监督精调、人类反馈的强化学习和prompt上新增三种增强技术,分别是:知识增强、检索增强、对话增强技术。通过新一代检索架构、记忆机制、知识图谱强化大模型的安全可控。

奇安信首席安全专家翟胜军则认为,站在网络安全视角,应该确保模型与结果的透明度。模型透明度可以使研究人员和整个下游用户供应链,能够调查和了解模型的漏洞和偏差。可以针对AI创造结果的透明度,建立标签提示,避免内容滥用。同时,要强化数据安全的基础设施建设。让AI基于信息化的基础数据,提升数据安全的保障能力,是保障AI新技术应用的基础。

3、企业如何用好大模型?

目前大模型已经渗透到文本、代码、图像、音频、科研等多个场景。通过大模型,企业可以一键生成营销物料、智能客服、工作助手、代码编写,产品测评等。

易观分析高级分析师陈晨指出,这一轮大模型发展对企业的帮助是,可以通过以业务驱动的方式拥抱AI,降低AI开发门槛,增强用户体验,碾平企业数智化洼地。

为此,企业应该应该规划未来3-5年在AIGC方面的应用。陈晨建议,首先,要以业务为纲规划AI上线与推广计划;其次,做好专有数据资产的沉淀与管理,应对模型训练与生成;第三,设定AI应用合规和风险管理防范机制;第四,组织系统协同员工能力协同进化与升级。

大模型的发展牵动千行百业的心,毕竟就大模型自身的发展阶段而言,我们目前还处于AGI发展的0.1阶段。

陈晨认为,AGI0.1时代是交互革命时代,prompt工程价值凸显。

AGI1.0时代是知识革命,未来模型人人可用,人人可训,即个人知识能力将得以复制和拓展。

AGI2.0时代是思维革命,AI具备独立思考和逻辑判断能力,可以通过具身智能链接物理世界。

随着大模型狂飙,商业模式、组织模式甚至社会模式都将被改变,如何乘风而上,是所有人都要思考的问题。

文章来源:亿邦动力

广告
微信
朋友圈

这么好看,分享一下?

朋友圈 分享
+1
+1
微信好友 朋友圈 新浪微博 QQ空间
关闭
收藏成功
发送
/140 0