国产算力利用率突破65% AIGCode L3级大模型的全栈突围

簪竹 2026-07-07 09:05

簪竹 2026/07/07 09:05

邦小白快读

全文速览

这篇文章介绍了国产AI编程大模型创业公司AIGCode在大模型赛道的全栈突围过程，核心干货信息如下：

1. 当前AI Coding赛道整体处于红海竞争状态，99%厂商集中在L2级代码补全领域打价格战，难以实现代际突破；多数没有基座模型能力的AI应用厂商，因自研成本过高，最终只能选择被大厂收购，行业投资热度降温。

2. AIGCode走出了差异化的非共识路线，不跟风做通用大模型，聚焦Coding领域，主打L3级端到端AI编程，通过L3应用生成L3训练数据反哺模型升级，形成正向闭环。

3. AIGCode已经实现技术突破，将国产算力的MoE MFU提升到65%，超过行业原有纪录，还在底层基础研究上取得多个核心突破，商业化方面60%付费用户来自海外中小企业，验证了国产路线的可行性。

这篇文章为AI赛道品牌商提供了产品研发、品牌定位、市场拓展等多方面的参考干货，核心内容如下：

1. 产品研发与消费趋势方面，当前大模型行业仍处于类似功能手机的“诺基亚时代”，市场对能端到端全自动完成任务的L3级产品有明确需求，AI Coding领域用户已不满足L2级代码补全，期待能直接生成完整项目的产品，垂直赛道的代际突破存在巨大市场空间。

2. 品牌定位方面，当前多数创业者跟风复刻OpenAI的通用大模型路线，AIGCode选择非共识的垂直聚焦路线，避开了红海竞争，打开了差异化品牌空间，给品牌定位提供了可借鉴的思路。

3. 市场拓展方面，AIGCode纯国产产品60%付费用户来自海外中小企业，证明国产硬核技术产品在海外市场具备竞争力，国产品牌出海有较大机会；同时依托国产算力生态通过软件优化可实现成本领先，符合当前品牌降本增效的需求。

本文为AI赛道创业者、相关卖家梳理了当前行业现状、风险与机会，核心干货如下：

1. 行业风险提示：当前AI应用赛道VC投资热度降温，没有基座模型能力的AI应用厂商核心优势不可持续，自研基座成本过高，终局大多是被大厂收购；AI Coding领域99%厂商集中在L2代码补全红海打价格战，利润空间极低，同质化竞争风险高。

2. 可借鉴的创业思路：避开跟风做通用大模型复刻的热门路线，结合团队自身技术优势，选择闭环最短的垂直赛道切入，走全栈闭环路线，降低产品验证成本，快速实现迭代。

3. 市场机会提示：当前大模型整体处于L2阶段，L3级全端到端产品存在明确的创业窗口；国产算力生态处于高速增长阶段，走纯国产替代路线有明显的成本优势，通过极致软件优化可以抹平国产硬件的差距；国产垂直AI产品面向海外中小企业有不错的付费空间，出海是可行的商业化方向。

本文关于国产大模型的发展实践，能给各类工厂推进数字化转型、挖掘商业机会提供不少启示，核心干货如下：

1. 产品需求层面，工厂数字化转型需要大量定制化的信息系统，传统开发模式成本高周期长，AIGCode推出的L3级AI编程产品，可以在15-20分钟生成完整的前后端、APP，能帮助工厂快速低成本搭建符合自身生产需求的定制化数字化系统，满足工厂个性化生产管理、数字化升级的需求。

2. 数字化转型启示：工厂推进数字化转型不需要盲目追捧国外高价硬件方案，依托当前快速发展的国产算力生态，通过软件优化就能实现高性价比的数字化升级，有效降低转型的成本投入。

3. 商业机会层面，AI技术向制造业渗透的过程中，垂直场景的全栈闭环解决方案比通用方案更适配工厂需求，工厂可以结合自身生产场景，对接垂直大模型厂商，共同开发智能化应用，挖掘降本增效的空间，打造新的竞争力。

本文梳理了当前大模型行业的发展趋势、核心技术突破与客户痛点，能给AI相关服务商提供诸多干货参考，核心内容如下：

1. 行业发展趋势：大模型行业已经告别了盲目堆算力、堆参数的扩张阶段，进入依靠底层技术创新提升效率的新阶段，国产算力生态正在快速崛起，逐步成为行业主流，市场对纯国产全栈大模型解决方案的需求持续增长。

2. 核心新技术参考：AIGCode在底层技术上实现了多个突破性成果，研发出TPE树形位置编码，外推能力达到业界通用RoPE方案的8倍，还推出了业界首个无损线性注意力机制TPA，Loss收益远高于现有优化方案，此外还有两阶段规律学习、PLE专家解耦架构等创新，这些技术都可以为服务商开发产品提供参考。

3. 客户痛点与解决方案方向：当前AI客户的核心痛点是L2级产品需要人工反复修正，token消耗大、使用成本高，L3级端到端解决方案可以大幅降低token消耗，提升任务完成效率，能有效解决痛点；服务商可以依托国产算力做极致软件优化，抹平国产硬件与国外硬件的体验差距，推出高性价比的解决方案。

本文梳理了大模型创业行业对平台的需求与行业发展现状，能给算力平台等相关平台商的运营布局提供参考，核心干货如下：

1. 创业者对平台的核心需求：当前国产算力正处于从“可用”向“好用”过渡的阶段，创业团队做国产适配需要投入大量技术精力，创业者需要平台提供更完善的底层软件生态支持，降低国产算力适配优化的成本。

2. 平台布局方向：当前越来越多的创业公司和大厂选择走纯国产算力路线，国产算力平台迎来高速增长期，平台可以加大对垂直领域全栈大模型创业项目的招商扶持，抓住国产替代的风口。

3. 风险规避方向：当前行业存在盲目跟风通用大模型、盲目堆算力参数的误区，平台招商布局时，应当优先支持有底层技术创新、走差异化垂直路线的项目，避开同质化红海竞争风险；评估项目时，要重点考察团队的复合型技术能力，优先选择领导者懂技术、贴一线的项目，这类项目突破技术瓶颈的概率更高。

本文披露了国产大模型领域最新的产业动向、技术创新与商业模式探索，能给AI产业和技术研究者提供丰富的研究素材，核心内容如下：

1. 产业新动向：当前AI应用赛道投资降温，没有基座能力的中小AI应用厂商生存空间被压缩，终局多为被大厂收购；国产算力生态增速已经超过英伟达生态，纯国产全栈垂直大模型成为新的创业方向，打破了只有大厂才有资格做基座大模型的行业共识。

2. 技术与范式创新：行业出现了全新的3No训练范式，即不依赖英伟达路线、跨越L2辅助阶段、拒绝盲目堆量，直接用L3交互数据训练L3级大模型，为大模型升级提供了新路径；底层技术上也实现多个突破，包括TPE树形位置编码、TPA无损线性注意力、两阶段规律学习、PLE专家解耦架构等，其中LokiFormer已经被顶级学术会议ICML 2026录用，具备很高的研究价值。

3. 新商业模式探索：AIGCode走“应用生成数据-数据训练模型-模型优化应用”的正向闭环，垂直聚焦Coding赛道实现全栈打通，为垂直大模型创业提供了新的可研究商业模式，也为国产算力生态商业化提供了新路径。

返回默认

声明：快读内容全程由AI生成，请注意甄别信息。如您发现问题，请发送邮件至 run@ebrun.com 。

我是品牌商卖家工厂服务商平台商研究者帮我再读一遍。

Quick Summary

This article outlines the end-to-end breakthrough journey of AIGCode, a Chinese startup focused on AI coding large models, in the competitive large model race. Key takeaways are as follows:

1. The AI coding sector is currently a red ocean: 99% of players are locked in a price war over L2-level code completion, with little room for generational advancement. Most AI application vendors without foundational model capabilities cannot afford in-house development, and ultimately end up acquired by large tech firms. Industry investment momentum has cooled notably.

2. AIGCode has carved out a differentiated, non-consensus path. Instead of following the crowd to build general-purpose large models, it focuses exclusively on the coding space, prioritizing L3-level end-to-end AI programming. It leverages L3 applications to generate L3 training data to refine its model, creating a self-reinforcing positive closed loop.

3. AIGCode has delivered tangible technical breakthroughs: it boosted the MoE MFU of domestic Chinese computing hardware to 65%, surpassing the previous industry record, and scored multiple core advances in foundational research. Commercially, 60% of its paying customers are overseas small and medium-sized enterprises (SMEs), validating the feasibility of its fully domestic development path.

This article offers actionable insights for AI industry brand builders across product R&D, brand positioning and market expansion. Key takeaways are as follows:

1. For product development and consumer trends: The large model industry is still in a "Nokia era" comparable to the early days of feature phones, with clear unmet demand for L3-level products that can complete end-to-end tasks fully automatically. In the AI coding space, users are no longer satisfied with L2-level code completion and are waiting for products that can generate complete full projects directly, creating enormous market opportunity for generational breakthroughs in vertical segments.

2. For brand positioning: Most founders currently rush to copy OpenAI's general-purpose large model strategy. By contrast, AIGCode chose a non-consensus, vertically focused approach that let it avoid red ocean competition and open up unique brand space, offering a replicable framework for brand positioning.

3. For market expansion: 60% of paying users of AIGCode's fully domestic product are overseas SMEs, proving that Chinese-built hardcore technology products are competitive in global markets, creating significant opportunity for Chinese brands to expand overseas. At the same time, its approach of leveraging domestic computing ecosystems and delivering targeted software optimization enables cost leadership, aligned with the current industry focus on cost reduction and efficiency improvement.

This article breaks down the current industry status, risks and opportunities for AI founders and solution providers. Key insights are as follows:

1. Industry risk warning: Venture capital investment in the AI application space has cooled. AI application vendors without foundational model capabilities have unsustainable core advantages, cannot afford in-house foundational model development, and most will ultimately be acquired by large tech firms. In AI coding, 99% of players compete in the red ocean of L2 code completion with intense price wars, leaving razor-thin profit margins and high homogenization risk.

2. Actionable founding insights: Avoid the crowded path of copying general-purpose large models. Instead, leverage your team's core technical strengths, enter the shortest possible closed-loop vertical segment, and build a full-stack closed-loop strategy to cut product validation costs and speed up iteration.

3. Market opportunity outlook: The large model industry as a whole remains at the L2 stage, creating a clear window of opportunity for L3-level end-to-end products. China's domestic computing ecosystem is growing rapidly, and a fully domestic substitution strategy delivers clear cost advantages; targeted software optimization can close the performance gap between domestic and foreign hardware. Chinese vertical AI products have strong monetization potential with overseas SMEs, making overseas expansion a viable commercial path.

This article draws insights from domestic large model development practices to help factories advance digital transformation and unlock new business opportunities. Key takeaways are as follows:

1. Product demand matching: Factory digital transformation requires a large volume of customized information systems, and traditional development models are costly and time-consuming. AIGCode's L3-level AI programming product can generate complete front-end, back-end and mobile applications in 15 to 20 minutes, enabling factories to build customized digital systems tailored to their production needs quickly and at low cost, to meet personalized production management and digital upgrade requirements.

2. Digital transformation insights: Factories do not need to blindly pursue expensive foreign hardware solutions for digital transformation. Leveraging the fast-growing domestic Chinese computing ecosystem, targeted software optimization can deliver high-cost-performance digital upgrades and significantly cut transformation investment.

3. Business opportunities: As AI penetrates manufacturing, full-stack closed-loop solutions built for specific vertical scenarios fit factory needs far better than general-purpose solutions. Factories can partner with vertical large model vendors to develop customized intelligent applications aligned with their own production scenarios, unlock new cost reduction and efficiency gains, and build new competitive advantages.

This article summarizes current large model industry trends, core technical breakthroughs and customer pain points, offering valuable insights for AI-related service providers. Key takeaways are as follows:

1. Industry development trends: The large model industry has moved past the phase of blind expansion through scaling compute and parameters, and entered a new stage focused on boosting efficiency via foundational technical innovation. China's domestic computing ecosystem is rising rapidly and gradually becoming the industry mainstream, with steadily growing demand for fully domestic full-stack large model solutions.

2. Reference for core new technologies: AIGCode has delivered multiple breakthroughs in foundational technology. It developed TPE tree-based position encoding, whose extrapolation capability is 8 times that of the industry-standard RoPE method. It also launched the industry's first lossless linear attention mechanism, TPA, which delivers far greater loss reduction than existing optimization solutions. Other innovations include two-stage rule learning and the PLE expert decoupling architecture, all of which can serve as references for service providers developing new products.

3. Customer pain points and solution directions: The core pain point for current AI customers is that L2-level products require repeated manual correction, leading to high token consumption and high usage costs. L3-level end-to-end solutions can drastically cut token consumption and improve task completion efficiency, effectively solving this pain point. Service providers can deliver extreme software optimization on top of domestic computing hardware to close the experience gap between domestic and foreign hardware, and launch high-cost-performance solutions.

This article summarizes startup demand and industry status for large model ventures, offering insights for platform operators such as computing power platforms. Key takeaways are as follows:

1. Core startup demand for platforms: Domestic Chinese computing is currently transitioning from "usable" to "high-performance". Founders building for domestic hardware need to invest massive technical resources in adaptation, and require platforms to provide more complete foundational software ecosystem support to reduce the cost of adaptation and optimization for domestic computing.

2. Platform layout directions: A growing number of startups and large firms are adopting fully domestic computing strategies, bringing a period of rapid growth for domestic computing platforms. Platforms can increase recruitment and support for full-stack vertical large model startup projects to capitalize on the domestic substitution trend.

3. Risk mitigation guidance: The industry currently suffers from blind trends of copying general-purpose large models and over-scaling compute and parameters. When expanding their project portfolio, platforms should prioritize projects with foundational technical innovation and differentiated vertical positioning, to avoid homogenized red ocean competition. When evaluating projects, platforms should prioritize teams with cross-functional technical capabilities, and give preference to projects led by technically competent founders close to frontline development, which have a much higher chance of breaking through technical bottlenecks.

This article discloses the latest industry developments, technical innovations and business model explorations in China's domestic large model space, offering rich research material for AI industry and technology researchers. Key takeaways are as follows:

1. New industry trends: Investment in the AI application space has cooled, squeezing the living space of small and mid-sized AI application vendors without foundational model capabilities, most of which will ultimately be acquired by large tech firms. The growth rate of China's domestic computing ecosystem has already surpassed that of the Nvidia ecosystem, and fully domestic full-stack vertical large models have emerged as a new startup direction, breaking the industry consensus that only large tech firms can build foundational large models.

2. Technical and paradigm innovation: A new 3No training paradigm has emerged: no reliance on the Nvidia ecosystem, no stop at the L2 auxiliary stage, no blind scaling of parameters, instead directly training L3-level large models with L3 interaction data, opening up a new path for large model iteration. Multiple breakthroughs have been achieved in foundational technology, including TPE tree-based position encoding, TPA lossless linear attention, two-stage rule learning and the PLE expert decoupling architecture; among these, LokiFormer has already been accepted by the top academic conference ICML 2026, marking high research value.

3. New business model exploration: AIGCode operates a positive closed loop of "applications generate data → data trains models → models improve applications", with full-stack integration focused exclusively on the coding vertical. This provides a new replicable business model for vertical large model startups, as well as a new commercialization path for China's domestic computing ecosystem.

Disclaimer: The "Quick Summary" content is entirely generated by AI. Please exercise discretion when interpreting the information. For issues or corrections, please email run@ebrun.com .

I am a Brand Seller Factory Service Provider Marketplace Seller Researcher Read it again.

“非共识声音是不被听进去的”。

6月中旬，一笔600亿美元的收购给AI应用行业带来了重创和不安，之后，VC不再投AI应用的悲观论调开始发酵。

没错，这笔收购就是马斯克买下AI应用顶流Cursor，往小了说，这是一个让四个00后财富自由的故事，往大了说，这再次证明了AI应用的终局是大厂和基模的游戏。

在这，我们不评价，也不预测，只想直面一个本质的问题，对于Cursor来讲，这笔交易为何会发生？除了交易金额外，市面上比较一致的看法是没有基座模型能力的AI Coding优势不可持续，而自研成本又过高，找棵大树依靠是一个高性价比的选择。

另一个事实是AI Coding领域99%的厂商还死卷在L2代码补全（Copilot）的红海里打价格战，做不出真正端到端的代际突破。

那么AI Coding这个被看做最火热的赛道终局将走向何处？一家成立两年的公司AIGCode正在给出一个独特的全栈解法。

选那条闭环最短的路

但“非共识声音是不被听进去的”

AIGCode的创始团队是一群来自全球顶尖高校和大厂一线的技术极客。

在创业之前，一直在技术一线的CTO陈秋武发现了一个根本性的问题：很多智能不足的根源不在微调，而在基座大模型本身。“我们发现很多问题其实来自于基座大模型，而不是微调的能力。”

这个判断决定了公司的轨迹。

紧接着，陈秋武就盘点了团队的技术储备：算法能力强、基建功底深厚、架构设计经验丰富。团队在过往的技术实战屡次突破工程与算法的极限，早在2012年，便通过实时个性化推荐技术，将腾讯微博广告的点击率提升了三倍，随后在微信位置服务项目中，仅凭16台服务器便成功扛住了10亿级别的线上流量。陈秋武在微软任职期间，不仅在实时突发事件监测、实时聚类与实时排序三大算法上取得关键突破，将其成功应用于美国大选的社媒实时追踪，还针对法学院入学考试（LSAT）问答场景，完成了复杂的子句因果逻辑建模，并将系统的端到端延迟大幅降低了99.99%。这三个优势叠加，指向了一个结论，这个团队适合做基础大模型研发。

但做什么样的大模型？彼时，国内“六小虎”正风头正劲，投资人们追捧的是OpenAI路线的中国复刻者，可即便如此，陈秋武和团队还是决定不凑热闹，反而选择了一条逆主流的路——不做通用，聚焦Coding。

选择coding的逻辑只有四个字，闭环最短。陈秋武此前在垂直大模型的落地过程中体会到，如果跟行业专家团队合作，闭环太长，而Coding领域团队本身就是技术极客，“我自己做出来的东西，我自己能识别出这个智能程度够不够。”

更关键的是，他对AI编程的终局有自己的判断。

当前市场上的产品，无论是GitHub Copilot、Cursor还是Claude Code、Codex，本质上都处于L2级别，即“辅助驾驶”，需要懂代码的人在一旁盯着，反复提示、修正，模型才能产出实际可用的结果。AIGCode想做的是“自动驾驶”级别的L3：用户提出自然语言的需求，端到端完成生产级前端、后端、数据库的完整闭环。

于是，AIGCode的产品AutoCoder.cc是国内极少数能端到端生成前端、后端和数据库，并提供测试和运维部署能力的AI编程产品。陈秋武认为，这不仅仅是商业产品，更是整个技术闭环的关键一环。

他的逻辑链条是：当前所有大模型的训练数据只能提供L2级别的样本，因为L3级别的应用还没有出现。没有L3的数据，模型就无法从L2跃升到L3。因此，AutoCoder.cc的真正价值是为基座模型生产L3训练数据。“通过L3应用的搭建来形成L3的样本，通过L3样本的训练让模型达到L3级别。这是我们的核心闭环。”

他的账本是：“70%-80%投入流进算力的口袋，这种模式是不正确的畸形，至少搜广推完全不是这样。大部分收益壁垒来自算法而非算力。另一笔是L2大模型需求从提出到完成任务，需要多轮矫正，百万token弹指湮灭，而L3大模型则完成任务只需千-万级token。当训练迭代成本在千万级别时，算力就该让位于算法退居二线。”

毕竟，这是大模型时代，而不是显卡时代。

他用复杂度量化了当前的行业现状，比如电商网站的复杂度约为4，操作系统约为6，《黑神话：悟空》约为10。再到产品侧，国外竞品模型生成的复杂度大约在2左右，只能做多个单页面。对于生成一个多角色、长逻辑链路的任务，都是做不到的。

对此，陈秋武用了一个意味深长的比喻。“iPhone没出来之前，大家认为诺基亚已经非常好了。但事实上iPhone面世后，人们才真的知道有智能机这回事。”

他认为当前的大模型行业就处在“诺基亚时代”，距离真正的智能（L3/L4级别）还有本质差距。而这个差距，恰恰是创业公司的窗口。

所以，AIGCode团队正在做的事情，归根结底就是一句话：在国产算力上，通过底层研究创新提升预训练效率，通过端到端产品产生L3数据，用L3数据训练下一代模型，形成一个完整的正向循环。

他们内部也称之为“3No范式"(No Nvidia,No L2,No Blind Scaling），即不依赖英伟达单一路线、跨越L2辅助、拒绝盲目堆量，直接用无需人监督任务完成度高的L3交互数据去训练下一代端到端L3级大模型，这也将导向全新的agent应用范式。

这个方向在2023年10月就确定了，但当时国内外大量投资人的共识是跟着OpenAI走，“非共识的声音（他们）是听不进去的。”

从国产替代出发

把国产头部算力的

MoE MFU（混合多专家算力利用率）做到65%

再说回国产算力上，AIGCode是纯血国产模型和应用，也就是最近比较火的“零英伟达”模型。

但国产替代从来不是一条容易的路，我们前几天曾在寒武纪市值破万亿时写到这是最朴素的现实主义，AIGCode的故事同样如此，因为没得选，所以只能走好脚下的路。

2024年3月，成立不久的AIGCode在算力紧张的困境下，登上了某国产算力的训练集群，开始了在国产芯片上的大模型预训练。

这是一条几乎没有创业公司愿意走的路——自研基座模型，同时深度优化国产算力生态，还要做端到端的AI编程产品。

“一开始确实是因为算力紧缺。”AIGCode CTO陈秋武坦率地承认。但两年后，这支小而精的团队在国产算力集群上实现了MoE架构65%的算力利用率（MFU），这个数字超过了字节Seed在2025年10月公布的MoE效率纪录，这也意味着，一张国产卡，被他们当成了两张用。

团队把预训练中闲置的CPU资源，吞吐量优化到300倍，矩阵乘计算性优化到100倍，承接显卡冷门长尾专家的计算，把HBM利用率与全局/微批次提高双倍。整体训练提效35%，而在增强后训练，通过CPU TB级内存双副本指针切换，免去采样→训练→推理多线频繁上下文切换性能理论上限提效数十倍。

更重要的是，他们试图证明一件国内大模型行业几乎无人相信的事，只做应用层不够，只做模型层也不够，必须从底层基础研究、预训练效率到产品端完成真实长程任务，垂直打通整条链路，才能触达下一代大模型的门槛。

真正让团队与国产算力深度绑定的，是2025年底国产头部算力的负责团队的一次深度交流，双方团队达成了合作方向：把该算力体系下MoE的MFU提升上去。

“我们一开始设定的目标是50%。”

结果远超预期。2026年2月底，36.3%；3月底，50%；4月14日，65%。

这背靠的是极致的底层技术突围。在大模型时代，算法、工程、产品与商业化高度交织，常规的割裂分工模式已然失效。我们的核心成员必须是兼具“算法+工程”能力的复合型人才，深度精通大模型算法及训练推理框架底层、高性能优化会用C语言甚至汇编、超节点统一内存池管理、超节点架构及分布式异步通信优化等深水区技术，这是很多团队技术很难触达的范围。

外界常将团队的战斗力简单归结于AI Native，但这只是冰山一角，大模型赛道创业成功的核心在于领导者是否“懂技术、贴一线”。面对大模型的复杂链路，传统“脱产纯管理”的模式已无法胜任，大厂还要解决部门墙的天堑，只有深入技术细节、直接主导技术决策的掌舵人，才能真正带兵打硬仗。

不可否认，国外硬件生态早已达到“好用”的标准，而头部的国产算力目前仍处于从“可用”向“好用”过渡的阶段。但只要自身技术底子够硬，AIGCode的团队通过极致的软件优化，去抹平这道硬件上的鸿沟。

陈秋武把这种角色定位为国产算力生态的“Windows”，他进一步解释，正如Intel的CPU需要Windows才能被普通用户使用，国产算力硬件也需要他们这一层的软件积累才能真正好用。

18个月磨一剑：被忽视的基础研究

如果说算力适配是“体力活”，那么基础研究就是AIGCode最核心的“脑力”投入。

梁文锋说过，你一定要在技术领域做出一些突破才有可能。在陈秋武看来，大模型还属于少年期，很多技术机制还不完善。在这种情况下，堆人力、堆资金、堆钱都没有太大用处。

在这种观念和信仰的驱使下，AIGCode团队花了18个月研发出了TPE（树形位置编码），彻底取代了业界通用的RoPE方案。

陈秋武给出了一组让业内惊艳的数据：

外推能力是RoPE的8倍；在8倍以上外推时，搜索性能仍保持近90%；而RoPE在4倍以上性能就急剧下降，8倍以上“搜索性能接近于零”。

技术原理上，RoPE是线性算法（加法），TPE是乘法结构，四层各1K的乘法可达TB级别的无损位置表达。“1Kx1Kx1Kx1K，四次相乘就是1T级别。而RoPE本质上是高频外推、低频内插，大模型是概率模型，分布变形会影响效果。”

更让他惊奇的一个发现是：只要跟RoPE反着来，你会发现有比较大的收益。我们取消了RoPE之后，竟然带来了额外的收益。

当然，TPE的突破只是一个开始，基于TPE，团队进一步做出了TPA—业界首个无损线性注意力机制。

陈秋武解释，目前流行的KDA、DSA等方案本质上是有损的，具体做法是通过丢弃或降权他们认为不重要的远距离token来实现线性复杂度，但其实（这些token）并不是不重要，只是RoPE的位置编码导致越远的token贡献越低丢弃影响不大而已。

而TPA通过乘法方式实现完全无损的线性注意力，训练成本、显存占用与原版对齐，性能却是RoPE的8倍。Loss收益方面，TPA达到0.113，而近期引起关注的Muon优化器相比AdamW在实验条件下的loss收益不到0.02。

有了这两个前提，陈秋武和团队还提出了两阶段规律学习，这是他们琢磨最多的创新之一。

陈秋武将预训练过程类比为登山，常规训练每次都从山脚爬到山顶，而两阶段学习则是在山腰和山顶之间建了一部“缆车”。

展开来讲，模型在预训练中学的是token拼装成的embedding，为了在任意上下文中预测准next token，它要把知识点梳理成更高压缩比的神经元表达方式。这就是涌现能力的来源，但涌现能力不是必然发生的。

目前大模型的有效上下文边界是预训练全注意力的4K乘以RoPE的8倍外推，即32K。在此范围内，模型具备上下文学习、推理、归纳的能力；超出这个范围，能力大幅衰减。两阶段学习的目标是，把浪费在重复拟合常见分布上的神经元节约出来，集中到涌现能力的学习上。

除此之外，AIGCode还提出了专家解耦架构（PLE），一个对当前主流MoE架构的根本性改造。传统MoE的门控网络用softmax概率选择专家，AIGCode的做法是用注意力机制中的QK矩阵，来选专家，让每个专家拥有明确语义感知的“知识领地”。

陈秋武用仓库管理做类比，原来是在桌子上等分画了16个区域，至于区域里放什么完全靠概率。现在我们把左上角定义为小件生活用品区，右下角定义为大件柜子区，这就是有意义的。

这项研究源于2024年3月基于国产算力集群的预训练，该成果LokiFormer已被ICML 2026录用，“两年前的结果，到现在还能拿到最新的学术认可。”陈秋武对此感到满意。

学术之外，在商业化上，AIGCode也迎来了进展，“原来他们需要采购二三十个SaaS组件，现在用我们的AutoCoder.cc，15-20分钟就能有一个完整的前端、后端和APP。”

一个有趣的现象是，AutoCoder.cc目前60%的付费用户来自，一个纯国产国产AI应用面向的主要是海外中小企业主，这本身就是一场突围。也证明了依靠纯国产算力，扎根底层技术创新，是完全能够走出一条新路的。

当前，这条路也成为了越来越多公司的共识。

日前，美团LongCat-2.0正式发布，这是业界首个在五万卡国产算力集群上完成训练与推理全流程的万亿参数大模型，也是首个从训练到推理，全程由国产算力独立完成的万亿规模全流程跑通。更早之前，DeepSeek V4也完成了从英伟达CUDA生态到华为昇腾等国产平台的迁移与适配。

这让我想到，在交流过程中，陈秋武从宏观视角给出的判断：中国的增速曲线高于美国，国产算力生态的加速度高于英伟达。英伟达虽然是半垄断地位，但成本太高，存量消耗完了，增量就小于国产算力生态的增量，中国人再把性价比打上去这件事，比海外强很多。

如今，国产算力生态正在成为主流，属于AIGCode的故事也将告别非共识，走到舞台中间，被认可和看见，并在这场被认为只有大厂才有资格入场的游戏中，走得更好更远。

注：文/簪竹，文章来源：投中网(公众号ID：China-Venture)，本文为作者独立观点，不代表亿邦动力立场。

文章来源：投中网

FAQ回顾

L3级AI编程大模型和L2级有什么区别？

L2级属于代码补全的辅助驾驶阶段，需要懂代码的人实时盯守、反复修正才能产出可用结果，完成任务需消耗百万级token；L3级属于自动驾驶阶段，用户只需提出自然语言需求，就能端到端完成生产级前端、后端、数据库的完整闭环，完成任务仅需千到万级token。

AIGCode的3No范式指的是什么？

3No范式是AIGCode的核心研发路线，具体指不依赖英伟达单一路线、跨越L2辅助阶段、拒绝盲目堆量，直接用无需人监督、任务完成度高的L3交互数据训练下一代端到端L3级大模型，可导向全新的agent应用范式。

当前国产算力集群的MoE算力利用率最高能到多少？

AIGCode团队在国产算力集群上实现了MoE架构65%的算力利用率（MFU），该数值超过了字节Seed公布的MoE效率纪录，相当于把单张国产卡的效能提升至原来的2倍，整体训练提效达35%。

AI编程产品AutoCoder.cc有什么优势？

AutoCoder.cc是国内极少数能端到端生成前端、后端和数据库，并提供测试和运维部署能力的AI编程产品，可将原本需要采购二三十个SaaS组件的开发流程压缩到15-20分钟完成，目前60%的付费用户来自海外中小企业主。