【亿邦原创】OpenAI旗下的对话大模型ChatGPT自推出后已经引发世界范围内的热潮。但大模型背后的机理是什么？国内如何追赶ChatGPT？大模型之外，小模型有没有机会？
3月21日，ChatGPT及大模型技术大会在北京成功举办。来自北大、清华、人大、哈工大、中科院等院校及科研机构的国内大模型及相关技术领域的专家学者，以及华为、贝壳等企业高管，从大模型研究、开发、落地应用三个角度探讨了国内外大模型技术现状和未来。
模型一定越大越好？
小模型有机会吗？
本次大会的许多与会者都十分关注大模型背后的机理：究竟是什么让GPT涌现出推理能力？这关系到今后的大模型研发将资源聚焦于何处。推理能力的浮现和大语言模型的泛化能力相关，而正是泛化能力使大模型面对多种场景都能表现出足够的智能。
中国人民大学高瓴人工智能学院教授&博士生导师卢志武、IDEA研究院讲席科学家张家兴和哈尔滨工业大学计算学部长聘教授&博士生导师车万翔都认为，引入编程语言数据，最有可能是推理能力涌现的关键。张家兴说，编程数据目前看就是赋予大模型推理能力的“好数据”。
车万翔还表示，目前自然语言处理存在两大发展趋势：第一是模型的同质化越来越严重，第二是模型的规模都越来越大，规模和大模型的表现正相关，随着大模型的参数规模增长，浮现出的推理能力越来越惊人。
但是，对于模型的规模是否一定要做得越来越大，学界和业内意见不一，小模型也存在很大的机会。车万翔表示，虽然学术界工业界都在拥抱大模型，但细分行业可以使用小模型。研究显示，推理能力在不同参数规模的模型中都可涌现，针对一部分任务，模型参数很大不是必需。张家兴则表示，单以写作能力来讲，几十亿的参数就已经可以十分接近ChatGPT达到的效果。
华为算法应用部部长王云鹤表示，在例如风控这样的领域，采取小模型可以做的很好，就完全没有必要使用大模型了。如果说ChatGPT是一个“文科生”，那么一些专业模型就是“理科生”，“没有必要强求文科生去干理科生的事情”。
目前大模型参数规模已经进入千亿时代，且仍在继续飙升，这带来算力的极端紧张。中科院自动化所模式识别国家重点实验室研究员李兵认为，在垂直领域，大模型并不经济。最后真正去服务大众，会是一些从大模型变异、抽象后得到的领域专家模型。他们团队在关注如何做模型的轻量化，例如从大模型抽取知识，将其“蒸馏”到小模型上使用。
国内差距有多大？
国产芯片够用吗？
一个问题正在引起国内的焦虑，距离ChatGPT以及GPT4为代表的大模型，我们差距有多大？追赶难不难？
北京大学计算机学院长聘教授李戈在大会上表示，在大模型领域中美差距有一到两年甚至更长。而训练模型的成本极高，“以OpenAI的GPT3为例，当时的一次成功训练使用了1万张V100计算卡，一共做了13天”。并且，这对于外界来说，还仅仅只是看到成功训练一次的成本，还不算那些看不见，训练失败的成本。
在众人关注的“算力卡脖子”问题上，李戈认为，国产计算卡“值得大家去尝试”。不过他也表示，国产卡在推出后也需要配合相应的计算框架。需要承认，国产计算卡在相应的生态方面还与国外有差距。不过他认为，在这方面国内的新生创业公司正在补上缺位。昆仑芯科技研发总监王志鹏说，国内的芯片公司需要承认劣势，但也会有很多机会，国产芯片的优势是更能够深入理解我们国内的真实业务场景。
张家兴则指出一个现实情况：一个超级大模型出现之后，采取跟随战略来制作属于自有类ChatGPT模型的团队，工作都会变得十分简单，因为他们可以利用这个超级大模型生成数据，成本都会变得很低。这样做的问题是会失去技术的原创性。
中文互联网平台高墙林立，中文语料存在“低质量”问题。但包括车万翔在内的数位与会专家认为，这个问题不如公众认为的严重。车万翔指出，实际在大模型的预料使用中，语言之间存在互通性的，多语言语料是互通、互相支持的。即使Instruct GPT模型96%的指令都是英文，依然不妨碍中文的使用。即使开发中文的大模型，也会同时导入多语言语料使他们互补。
杭州元语智能联合创始人朱雷指出，虽然中文语料的结构、效果都较差，但是有一个优势却不可忽视：高质量的语料很集中地存在于行业之中。因此国内构建行业大模型方面存在巨大的潜力，现在行业内有不少企业有做好行业大模型的信心。
当落地行业
ChatGPT会取代多少员工？
各行各业已经在瞄准ChatGPT所带来的数字化革新机遇，从本次大会上还可发现，在诸如游戏、生物制药的各行各业，已经有一些大模型的相关技术落地应用。
例如行者AI CEO& 创始人尹学渊表示，StableDifussion已经对游戏行业的生产环节产生影响，AI如今已经可以胜任许多美术3D资产设计、音乐BGM设计工作，以及游戏NPC的扮演，AI正在倒逼从业者向创意的方向发展。他认为，AI技术未来有望将游戏行业的生产成本降到目前的1%，这1%主要就是为创意买单。
而朱雷分享了ChatGPT等大模型落地企业时可能出现的问题。他表示，元语智能在业务实践中发现企业在面对ChatGPT等产品时面临着“四大挑战”。
这四个挑战是，第一、如何将过去的数字化成果迁移到这个大模型里面，而不至于浪费掉？第二，如何在所有经营渠道、组织环节去深度部署AI能力？第三，大模型AI技术如何转换成生产力？第四，企业实际想要去运用文心一言、ChatGPT时，面临的成本仍然很高，如何去评估创新等投入产出结构？
此外，ChatGPT已经让人们看到大模型编程的潜力，那么，大模型是否在未来可能彻底取代程序员？
北京大学计算机学院长聘教授李戈团队全世界最早研究自动化编程，他指出，对于复杂环境的编程，目前可以断言不可能将这类工作交给ChatGPT。例如，ChatGPT来编程一旦出现问题，处理方式将于真人截然不同，Debug、Auto testing、Auto fixing等一系列对应技术都亟待研究，要真正实现自动编程，“大模型并非我们所需的全部”。
文章来源：亿邦动力
