从ChatGPT到Sora，从文生文、文生图像到文生视频，大模型发展日新月异，持续给行业带来惊喜，不仅国内掀起“百模大战”，国外科技巨头也在大模型上相互较劲。大模型的能力在不断进化，引发新一轮的AI变革。

但是，要训练专属大模型，不仅需要大算力、大数据，还需要大量顶尖人才。大模型一次训练成本在千万元，主流的训推一体机价格普遍在百万元，绝大多数企业都无法承担这样高昂的成本。

如何降低大模型落地成本，成为AI公司（尤其是聚焦在to B领域）首要考虑的问题。

为了能够让大模型“平民化”，成为人人都可用的产品，云天励飞推出了边缘训推一体盒子“深目AI模盒”，价格仅在千元级，单手就能托起。

据云天励飞介绍，该产品能够做到“3个90%”——覆盖场景超过90%、算法精度超过90%、使用成本降低90%，解决大模型在场景落地最后一公里的问题，帮助更多中小企业客户轻松使用大模型。

将大模型落地成本打到千元级，云天励飞如何做到的？

1.千亿市场的挑战与机会

与大模型动辄百万元、千万元级的成本相比，云天励飞发布的千元级产品并不矛盾，不同的产品指向了不同的需求。

根据客户类型的不同，大模型的需求主要来自三大场景：云端、终端与边缘端。

云端以大型云厂商、大型企业构建的超级数据中心为主，集中式地对外提供公有云或者对内提供私有云服务。比如，OpenAI训练GPT-4大约使用了2.5万块A100，这些芯片被部署在微软Azure中，构建了训练大模型的超级计算机。目前，英伟达一半以上的收入来自于数据中心业务。

终端是以手机、电脑、汽车等产品为代表的AI处理需求。比如近期英特尔、AMD力推的AI PC概念，就是将大模型部署在搭载了新一代AI处理器的电脑中，来满足用户对大模型的使用需求；苹果、OPPO、vivo等手机厂商也在积极布局手机的端侧大模型。

而边缘端是一个日常离用户较远但也非常重要的场景，在智慧城市、医疗、制造、物联网等行业比较常见。边缘侧的产品设备离云端数据中心较远，如果需要向云端传输、存储与计算数据，成本较高且时间较长，无法满足实时计算与处理数据的需求。因此，在边缘侧进行本地计算、存储数据的“边缘计算”需求应运而生。

边缘计算市场空间巨大。据IDC预测，2023年全球边缘计算市场将达到2080亿美元，比2022年增长13.1%，到2026年达到3170亿美元。去年，英特尔高级副总裁兼网络与边缘事业部总经理Sachin Katti也预测，2030年全球边缘市场将达到4450亿美元的规模，边缘行业的发展将成为企业下一个10年的巨大发展机遇。

但是，在AI 1.0时代，边缘计算市场的痛点也非常明显。云天励飞副总裁、芯片业务线总经理李爱军在2023年的一次公开会议中如此总结：

首先边缘计算的场景非常众多、纷繁复杂，有园区、安防、商业、教育等等，场景的要求又各种各样。

同时，在边缘计算场景落地的芯片平台种类也是五花八门，有X86架构的、ARM架构的，有FPGA的，也有SoC主控芯片，也有算力芯片，甚至传统的NVR芯片也被归在这个类。

算力的需求也极度碎片化，从0.5T算力，到几十T甚至到几百T，需求各异。同时对数据精度的要求也不一样，有INT8的要求，INT12的要求，还有FP16的要求。

这最终导致了边缘计算场景Corner case众多，需要大量的定制化交付，算法投入与产出不成正比，难以实现商业闭环。整个落地过程中客户对于整个体验是不满意的，客户不满意就不会给方案商继续下订单，方案商没有订单，意味着芯片原厂也没有订单，这就形成了碎片化的恶性循环。这就是当前边缘计算场景落地的困境。

然而，2023年大模型的出现，让边缘计算的Corner case有了被解决的希望。

一方面，CV大模型强大的图像理解能力和强大的场景泛化能力能够实现在摄像头视野范围内所有目标的分割、检测和深度估计，为泛场景的精确识别提供技术保障。

另一方面，NLP大模型强大的语言理解能力，以及强大的多轮交互能力，意味着算法能够快速、准确地理解用户指令，从而可以实现场景Corner case的精准操作。

将大模型落地到边缘计算，这就是云天励飞要抓住的机会。

2.千元AI模盒的秘密——算法芯片化

把大模型做小本身不复杂，难的是在小参数的同时还能保持性能的先进性。

云天励飞推出的“深目AI模盒”能够做到“3个90%”：覆盖场景超过90%、算法精度超过90%、使用成本降低90%。

“能够实现3个90%，离不开云天励飞的核心能力——算法芯片化。”云天励飞董事长兼CEO陈宁博士说。

深目AI模盒的算力基础，来源于去年云天励飞推出的14nm chiplet大模型推理芯片DeepEdge10 Max。该芯片采用自主可控的国产工艺，内含国产RISC-V核，支持大模型推理部署。依托自研芯片DeepEdge10 Max创新的D2D chiplet架构打造的X5000推理卡，已适配并可承载SAM CV大模型、Llama 2等百亿级大模型运算，可广泛应用于AIoT边缘视频、移动机器人等场景。

深目AI模盒的大模型能力，来源于云天励飞自主研发的多模态大模型“云天天书”。云天天书大模型包含语言大模型、多模态大模型等不同系列，在C-Eval、CMML等权威测试中多次获得第一，并于去年正式通过国家网信办备案。云天天书1.0版本于2023年初正式推出，至今已完成3个版本的迭代，预计今年6月将迭代4.0版本。

发布会上，云天励飞与与鹏城实验室、之江实验室、中国电子、华为、华润数科等单位成立了“深目2.0”生态联盟，共同探索更多大模型落地应用路径。

同时，云天励飞宣布“云天天书-2.0-68B”版本免费向合作伙伴开放，合作伙伴可免费使用天书平台自带的管理、支撑、应用及 API等服务，快速构建场景应用。

以云天天书为底座，云天励飞能够与生态合作伙伴完成预训练长尾算法，再将预训练算法提供给广大中小企业用户，中小企业客户可根据自身场景需求，在边缘端完成算法微调。由于大模型具备泛化和学习的能力，客户部署算法后，大模型还能够不断根据现实应用场景情况，在线学习、优化算法，不断提升算法精度。

深目AI模盒不仅仅是“压缩”了大模型和芯片能力的一款全新产品，更是把云天励飞大模型通过算法芯片化能力平台“硬件化”的一次重要尝试。把复杂的技术通过简单的产品提供给用户，让用户可以零学习成本，快速训练出自己需要的算法。

对于用户而言，他们只需要关心盒子到底怎么用、好不好用。发布现场，云天励飞副总裁罗忆用实际场景演示了深目AI模盒是如何在数据少、无数据等极端情况下，快速完成算法训练。

比如，在城市治理最常见的店外经营场景，只需5张照片，识别算法精度即可提升10%以上；在天灾人祸等极端场景训练数据几乎空白的情况下，利用合成数据来训练算法；在“购物中心提袋识别”场景，利用大模型的泛化能力实现“千店千袋”的识别。

3.从AI方案走向AI产品

作为一家AI公司，云天励飞需要回答AI 1.0时代所有AI公司都必须面对的问题：AI如何商业化？

从2014年成立至今，云天励飞一直坚持将AI技术与物理世界相结合，这也是云天励飞从成立之初自研芯片的重要原因。芯片是AI与物理世界的连接器，AI通过芯片为实体赋能，物理世界的数据又通过芯片反哺AI，推动AI进步发展。

陈宁博士将AI商业化的发展分为了三个阶段：AI方案化、AI运营化、AI产品化。

在AI方案化阶段，AI企业主要通过项目制满足不同垂直领域客户需求。在打磨行业标杆项目的过程中，AI企业不断积累行业认知和数据，AI技术实力不断增强，并形成具备越来越强的泛化能力AI平台，企业也得以开启AI运营业务。而最终，所有的技术都需要通过物理实体赋能，因此AI最终必须走向产品化。

云天励飞业务发展路径也沿着这条路径展开。在AI方案化方面，云天励飞在公安、城市治理、智慧交通、人居生活等领域打造诸多标杆项目，并且在低空经济、智慧教育等创新领域持续展开探索。基于在大量行业的落地经验，云天励飞已形成数据运营、新能源运营平台，走向AI运营化。

如今，云天励飞还逐步走向AI产品化。去年，云天励飞与华为昇腾联合推出天舟大模型训推一体机，如今又推出面向边缘训推场景的深目AI模盒。此外，云天励飞还通过资本纽带，收购智能穿戴设备领域的头部方案设计公司「岍丞技术」，进军智能穿戴市场，形成日益完善的大模型产品体系。

值得一提的是，“深目”并非云天励飞的新品牌。2014年，云天励飞就推出了基于CV小模型的人工智能产品——“深目1.0”，并应用到了AI产业化应用中。

本次推出的“深目2.0”，是云天励飞基于自研芯片与大模型的第二代升级产品，其技术底座已经从传统的小模型升级到了新的大模型。

陈宁博士表示，深目AI模盒是云天励飞二次创业的标志性产品。

云天励飞本次发布的深目AI模盒是标准版，未来还会有轻量版与旗舰版产品。

从AI方案化、AI运营化再到AI产品化，云天励飞一直在致力于做物理世界的“解码者”，通过算法芯片化的能力，为“无形”的技术和“有形”的世界构建通道，让AI不仅仅是个在虚拟世界的工具，而是转化为物理世界的生产力。