【亿邦原创】AI应用长期被卡在“最后一公里”，多维度的数据汇总、分析、解读，不同岗位的需求、响应、反馈，个性化的行业特征与企业特点，长期困扰AI应用，也左右着AI企业的现金流生死线。
作为国际顶尖的NLP科学家，澜舟科技创始人&CEO周明博士不仅密切关注大模型本身的技术进展，也关注企业客户的技术能力、行业特性、场景细节、核心需求。在调研了100多家企业后，周明总结了企业需求与大模型能力、场景细节与模型性能、部署成本与实际效果之间的多重交集，细致衡量大模型从技术研发到实际落地的每个关节点，基于通盘考虑，提出澜舟科技从模型选型、训练、部署、行业适配、安全等方面的一系列实践方法论，打破AI落地的“最后一公里”难题。
在2024年3月18日的澜舟科技的大模型技术和产品的发布会上，周明分享了对技术发展的判断，总结了AI落地方法论，并对中国大模型行业的发展提出自己的思考。
以下为演讲内容，未经嘉宾审核：
尊敬的徐区长，尊敬的开复博士，尊敬的各位来宾，大家下午好，今天我分享的主题是《大模型技术和应用如何双轮驱动来促进创新》。
首先介绍一下澜舟科技。我来自微软研究院，从事自然语言研究多年，我在2020年年底预感到大模型会成为国家的基础设施之一，就到创新工场接受李开复博士的指导，2021年6月成立澜舟科技，当年就发布了孟子轻量化大模型。2023年3月，发布了孟子GDP，2024年1月发布了孟子GPT2，得到网信办批准，可以对公众进行开放。这是我们的发展经历。
在业务方向上，我们一直坚持是以to b为主，to c为辅。
为什么以to b为主？因为我认为大模型在中国最大的应用前景是企业服务。我也一直重视做有用的研究，实现技术和场景的相互促进。为此，我希望建立生态环境，使产学研能坐在一起，培养人才，寻找创新机会。澜舟科技成立以来，也特别注重这种生态环境的培养。
1、2024年是大模型落地元年
我们先稍微回顾一下过去一年的技术发展。随着ChatGPT出现，大家纷纷投入大模型研究，主要研究进展包括：
第一，大模型技术本身飞速发展。
第二，大模型发展到一定程度，用户可以用大模型自己建立自己的GDP，即GPTs。
第三，开源。开源改变了整个模型的生态，使得大模型更加落地，更加平民化。
第四，多模态。比如Sora生成了60秒视频，而且生成的效果非常好。
第五，与落地相关的技术工具，比如RAG等技术的发展，帮助大模型快速落地。
最后，大模型原生应用，像Character.ai和Perplexity已经达到亿级用户，用大模型来支持搜索，也发展得非常好。
这些都是我们所关心的事情，我们一方面要把握技术脉络，另一方面也要思考如何扬长避短。因为这些技术来自于美国，我们快速跟进是好事，但是我总是在想，我们如何能够扬长避短，实现超越？
我认为两个方面要考虑：第一个，某些关键技术，我们能不能比别人做得更好。第二件事，抓住国家发展的大趋势来实现创新。
国家发展大势是什么？大模型一定要落地。2024年是大模型落地元年。因为过去这一年大模型发展非常好，已经具备了落地能力。其次，企业在降本增效方面已经积累了很多数据和场景。今年政府工作报告也特别强调大模型赋能千方百计，所以说今年大模型落地的天时地利人和全部具备。
我们应该做什么？应该利用国家发展大势，通过落地创造价值，拉动创新，而不是单纯去追赶美国。
大模型落地并不意味着“遍地是黄金”。我可以负责任地说，很多地方我们都没有开拓出来——比如大模型落地的最后一公里如何突破，大模型的商业模式是什么？如何加强交付能力，提高产品标准化，这些其实刚刚开始方兴未艾。
2、大模型落地九字诀
那么我们落地的秘诀是什么？我一直在考虑这个问题。我想到雷军先生的互联网创业7字诀：专注、极致、口碑、快。我想在这里再加上两个字叫成本——大模型创业不能不计成本。融资再多也有烧完的时候，一定要有造血的能力。同时在研发、交付、每一个环节注重成本。
这九字诀实际上融会贯通在澜舟科技的一切行动中，下面就看看我们如何来实现这九字诀。
第一，定位。我们澜舟科技的定位非常清楚，也非常简单，做大模型技术加企业场景应用的综合服务公司。
第二，PMF。我们通过两年多的调研，发现大模型落地的四大问题，如果解决不好的话，大模型应用基本是泡影。
1）训练和部署成本问题。动辄上千万的模型，用户是不能接受的。
2）行业适配问题。
3）幻象问题。好多大模型生成的结果是内行人士看起来像外行，外行人看起来像内行，企业敢用吗？
4）数据安全问题，企业的数据是不愿意拿出来，尤其是央国企数据，他不愿意参与大模型的训练，甚至不愿意被你调动。怎么解决企业的担心？
那么澜舟科技怎么解决这4大问题。
首先是成本问题，也就是toB大模型的规格选择。
大模型越大越好，可是成本也越来越高。我们调研了各行各业的102家企业，发现他们对大模型的需要集中在几个能力上，包括语言理解能力、多轮对话、文本生成、机器翻译等等。他们跟我们讲，你不用跟我说大模型，你把这几个能力讲明白，做到极致我就会用。
我回头去想，要把这几个能力做好，模型要做多大？
我画了一个非常质朴的曲线，很多人称之为“周明曲线”。
从中可以看到，要解决语言了解能力，百亿到千亿之间效果非常好，再大ROI不划算。这是我们从不确定性中找到的确定性，那我们就好好把百亿到千亿的模型练好，把企业关心的能力实现。
第二，如何训练模型。
团队刚刚成立时，投资有限，怎么建立一套体系，快速有效地练出这些模型？我们建立了一个孟子大模型训练体系，有条不紊地去实施。
孟子大模型具备全链路的安全体系。我们作为负责任的企业，语料要合规高质量，要有安全的预训练过程，要有强化学习来促进安全问题、对齐问题，还要在输入输出做一些过滤。
有了这些保证之后，数据变成最重要的事情。我们如何获取更大的数据，如何把数据过滤得更好，如何把数据用得更好，这就涉及到数据怎么来收集，从哪里收集。
我们收集了PB级的数据，又经过高精度的页面解析，层层过滤得到更好的数据，然后把这些数据再通过文本去重、数据调全，用得特别巧妙，让有限的数据发挥最大的作用。
基于这样的数据，我们就在公司委托的基础上继续研发，很快我们迭代出孟子V3版本。
V3的数据集是V2的2.7倍，整体数据质量得到很好提升，覆盖了百科、论文、书籍、代码、网页等各个方面的良好数据。我们目前有7b、13b、40b模型。13b模型在跟国内尺寸相仿的模型中，无论是中文的基本能力还是英文的基本能力都取得了领先的成果，在编码和数学方面也取得了一个上升结果。本月底我们会把它开放出来，希望大家来使用，并且给我们反馈。
讲完了大模型技术，我们来看大模型应用。大模型的最后一公里如何解决。
我们在国内最早提出L1、L2、L3、L44层大模型分类体系。
L1是通用大模型。L2是行业大模型。刚才说到，我们在很好的底座上，加上行业数据和行业热点，把每一个重点行业模型训练出来，这要求我们了解行业，知道行业数据在哪，行业任务是什么，最后一公里行业的痛点是什么，这些都融入模型训练中。所以大家看到，我们每一个行业大模型都是跟行业头部的合作伙伴一起来训练。
L3是场景模型，我们要针对重点的场景，去细致调整。比如金融领域，通用大模型甚至行业大模型，有时候做得不是很好，0~1做得很好，1~10、10~100做不好，这意味着你的模型没有行业竞争力。所以我们要把东西做到极致，把场景因素考虑进去。
L4是AI助理。用户发布自然语言指令，它自动决定要用哪一层次模型或者哪一个层次的场景来满足用户需求。相当于把大模型当作大脑来做任务分解，调用模型，最后把结果汇总出来，形成结果报告。
第三个问题就是幻觉问题，第四个问题是安全问题。我节省时间就一起说了。
幻象问题就是似是而非。安全问题就是用户数据保密。怎么解决？
实际上大家看到这个图稍微有点复杂，意思就是说我们大模型实际上管三件事。
第一件事情，大模型先管好自己，来了一个问题，他看能不能解答，这是他管好自己的问题。
第二件事，它发现他解决不太好，它去访问企业的本地数据，他理解了意图之后，他去查企业事件，
如果它觉得还不明白，还需要更大的数据范围到外面去查。这是第三件事。
所以澜舟科技的大模型干了三件事，如果大模型能得出答案，它就自己输出结果；如果它决定不了，就把这三件事融合在一起，我们做了一个神经网络，把三种信息重新排序，输入最后的结果，这样解决幻象和数据安全。
在此基础上，我们就提出了一横N纵的孟子大模型系列产品。
3、创新与落地相互促进
我刚才讲了创业者自觉，第一件事要关注，第二件事要做到极致，第三口碑，第四快，最后是成本。我们通过一横N纵的产品体系体现这9字诀——大模型做多大，在大模型上做哪些产品功能——都要根据客户需要，捡最重要的事情来做，从而提升我们的交付能力。
最后总结一下今天的分享，我介绍了澜舟科技的创业理念，也希望大家都记住这九字诀。我想强调一下，创新和落地是相辅相成的，不要一味的创新或一味的落地，要把这两者联系在一起，让它快速迭代。
同时我想强调生态的重要性——一个公司无论多强大，也不可能把所有事情做好，我们应该跟其他公司的产学研多合作，共同营造一个有益于创新创业的良好的生态环境，让大家在这样的环境下都得到发展的机会，也助力咱们国家科技的发展。
大模型行业落地正在拉开帷幕，让我们创造美好未来。创新落地，生态共赢，谢谢大家。
文章来源：亿邦动力
