广告
加载中

端到端推理时延降低15%:京东广告联合鲲鹏超节点 探索生成式广告行业新路径

钛媒体 2026-10-28 13:40
钛媒体 2026/10/28 13:40

邦小白快读

EN
全文速览

普通读者:总:文章核心是京东广告联合鲲鹏,用超节点把生成式广告端到端推理时延降低15%,核心矛盾是算力需求千倍增长而时延窗口只有几十毫秒。

1. 关键数据:全链路时延预算300毫秒,广告推理仅20到100毫秒;日请求千亿级;行为上下文增10倍、模型结构增100倍、算力需求增约1000倍;模型周更、算力扩容按季度。

2. 核心做法:干掉远端数据库和第三级缓存,只留片上内存与DDR两级;灵衢把多机连成300TB共享内存池;RPC跳过传统协议栈,时延开销降38%、通信用内存降100倍。

3. 结果:端到端时延降15%,8MB并发请求TP99降85%以上,618通过大考,核心业务5%流量已在鲲鹏集群运行。

总:对普通读者的启示是技术优化直接关系体验和收益。

1. 体验:推荐更快更准,可扩大行为序列提高精度。

2. 商业:时延就是收益,省下时延跑更大模型;双十一将更大规模业务搬上鲲鹏,未来看Agentic AI与Agent沙箱。

品牌商:总:对品牌商而言,文章显示京东广告的撮合层效率和生成式推荐能力会影响品牌触达、转化与投放回报。

1. 用户与触达:京东覆盖超7亿年度活跃用户,70%商家也是广告主,每月帮助顶级品牌触达超4000万核心受众。

2. 营销效率:广告成交=曝光×点击率×转化率;生成式推荐带来两位数收入提升;时延降低15%后可扩大行为序列、提高推荐精度,并用省下时延跑更大模型,效果更好。

3. 大促验证:618期间系统不能崩、稳定服务更多客户、延迟不飙升;核心业务5%流量已在鲲鹏集群运行,双十一推进更大规模。

总:品牌投放可关注平台能力外溢与未来场景。

1. 能力外溢:同样解法适用于搜推等业务,品牌可期待更稳定的推荐和广告匹配。

2. 新场景:Agentic适合决策复杂、次数有限、需最优化决策的场景,广告和搜推天然存在这类场景。

3. 风险提示:大内存池强依赖带来系统风险放大,断网或抖动影响范围更大,品牌需关注大促稳定性。

卖家:总:卖家可把文章看作平台广告效率与算力升级的机会提示,核心是搜广推撮合和时延收益。

1. 平台动作:京东70%商家也是广告主;搜广推连接商家和消费者,匹配影响成交转化和平台收入;广告系统迁往生成式,收入有两位数提升空间。

2. 机会:端到端时延降15%,局部KV Cache重复计算降80%到90%;省下时延可上更大模型,带来更好效果和更多钱;核心业务5%流量已上鲲鹏,双十一更大规模推进。

3. 可学习点:核心业务优先上新型集群;用分级存储、灵衢共享内存池、RPC改造降时延;618验证系统不能崩、稳定服务更多客户、延迟不飙升。

总:卖家也要注意风险与应对。

1. 风险:强依赖巨大内存池会放大系统风险,核心链路断网或抖动影响范围更大;机房空间、扩展性和稳定性是落地挑战。

2. 应对:液冷提高摆放密度、线缆不能太长;协议层、交换链路、操作系统和芯片侧持续打磨。

3. 合作方式:京东与鲲鹏联合做超节点,灵衢吸引硬件厂商和软件层客户,卖家可关注平台能力升级带来的投放效率变化。

工厂:总:文章给工厂的干货集中在超节点硬件需求、液冷与互联部件,以及数字化和电商基础设施启示。

1. 产品与设计需求:灵衢实现4K节点ScaleUp组网,单超节点支持150万+vCPU,每节点3.2Tb互联带宽,要求大规模、大带宽、不收敛、高可用;机房空间不够时用液冷服务器提高摆放密度,线缆不能太长。

2. 商业机会:华为发布多款NPO硬件解决光传输链路问题;灵衢吸引服务器厂商和做SSD协议的存储厂商基于IP开发产品,也吸引软件层客户做架构和软件方案创新。

3. 数字化启示:干掉远端数据库和第三级缓存,只留片上内存与DDR两级;用CPU与数据近端处理、拓扑感知调度处理数万预处理任务;RPC跳过Socket/TCP/IP,UB统一协议直连URMA。

总:对工厂推进电商的启示。

1. 算力底座决定广告和电商效率,时延优化能换来更大模型和更多收入。

2. 改造会从广告推理向更上游和更下游延展,硬件、存储、液冷、互联都有参与空间。

3. 未来共享SuperCache、Agent高密沙箱、多模态融合检索等方向值得跟踪。

服务商:总:对服务商而言,文章是一份生成式广告算力痛点和软硬协同解决方案的案例。

1. 客户痛点:全链路300毫秒、推理20到100毫秒;日请求千亿级;行为序列超1K导致KV Cache容量需求放大,四级缓存容量小、并发弱、时延高、额外投资;每次请求几十个RPC,通信占时延20%以上,百万级RPC每节点TB级内存。

2. 解决方案:灵衢4K节点ScaleUp、150万+vCPU、3.2Tb互联;两级缓存形成300TB共享内存池,缓存间时延降3个量级、带宽为TCP的16倍;RPC时延开销降38%、通信用内存降100倍、稳定性提升40%。

3. 效果与验证:端到端时延降15%,8MB并发请求TP99降85%以上,64MB序列TP99降至1/16,618通过大考,核心业务5%流量上鲲鹏。

总:服务商可关注落地难点和下一波技术。

1. 落地难点:机房空间、扩展性与稳定性、灵衢协议外联泛化、大内存池系统风险放大。

2. 新技术:共享SuperCache、Agent高密沙箱、多模态融合检索、Agentic AI。

3. 趋势:CPU与NPU配比从1:4走向1:1,京东看可能4:1;超节点不只是硬件概念,操作系统、调度、中间件都要变。

平台商:总:平台商可关注京东广告在生成式推荐下的平台需求、运营做法和风险规避。

1. 需求与问题:搜广推是撮合广告主、商家和消费者的核心层,匹配好坏影响成交转化和平台收入;日请求千亿级,时延预算300毫秒,推理仅20到100毫秒;模型周更、论文两周上线,算力扩容按季度,矛盾突出。

2. 最新做法:联合鲲鹏做超节点,灵衢4K节点ScaleUp、单超节点150万+vCPU、3.2Tb互联;干掉远端数据库和第三级缓存,只留两级,形成300TB共享内存池;RPC改造降38%时延开销、通信用内存降100倍;端到端时延降15%。

3. 运营管理:核心业务优先上新型集群,618验证系统不能崩、稳定服务更多客户、延迟不飙升;双十一推进更大规模;省下时延跑更大模型。

总:平台招商与风向规避。

1. 生态合作:灵衢吸引服务器厂商、SSD存储厂商和软件层客户;能力外溢到搜推等业务,友商可参考。

2. 风险规避:大内存池强依赖导致系统风险放大,断网抖动影响范围大;机房空间、扩展性、稳定性需持续打磨。

3. 下一程:共享SuperCache、Agent高密沙箱、多模态融合检索和Agentic AI。

研究者:总:文章提供了生成式广告从判别式推荐走向生成式和Agentic AI的产业样本,核心是算力千倍增长与时延毫秒红线的矛盾。

1. 产业新动向:京东广告行为上下文增10倍、模型结构增100倍、算力需求增约1000倍;从规则、机器学习、深度学习到生成式、Agentic AI;生成式带来两位数收入提升。

2. 新问题:时延两部分,KV Cache四级缓存存在不可能三角,RPC通信占时延20%以上;模型周更与算力季度扩容不匹配;超节点落地有机房空间、扩展性稳定性、系统风险放大等问题。

3. 技术路径:灵衢4K节点ScaleUp、150万+vCPU、3.2Tb互联;两级缓存300TB共享内存池;UB直连URMA,RPC时延降38%、内存降100倍;端到端时延降15%。

总:商业模式与启示。

1. 商业模式:时延就是收益,省下时延跑更大模型,带来更好效果和更多广告收入。

2. 新判断:Agentic适合决策复杂、次数有限、需最优化决策场景;前提是数据多、算力充沛、基础模型强、能循环迭代;CPU与NPU配比从1:4走向1:1,京东看可能4:1。

3. 产业启示:超节点不只是硬件概念,操作系统、调度、中间件要跟着变;能力可外溢到搜推,改造向上下游延展。

返回默认

声明:快读内容全程由AI生成,请注意甄别信息。如您发现问题,请发送邮件至 run@ebrun.com 。

我是 品牌商 卖家 工厂 服务商 平台商 研究者 帮我再读一遍。

Quick Summary

General reader: Overall: The article’s core is that JD Advertising, together with Kunpeng, uses supernodes to cut end-to-end latency for generative advertising inference by 15%. The central tension is that compute demand is growing a thousandfold while the latency window is only tens of milliseconds.

1. Key data: the full-link latency budget is 300 ms, with advertising inference at only 20–100 ms; daily requests are in the hundreds of billions; behavioral context is up 10x, model structure up 100x, and compute demand up about 1,000x; models update weekly while compute capacity expands quarterly.

2. Core approach: eliminate the remote database and third-level cache, leaving only two tiers—on-chip memory and DDR; Lingqu connects multiple machines into a 300TB shared-memory pool; RPC bypasses the traditional protocol stack, reducing latency overhead by 38% and communication memory by 100x.

3. Results: end-to-end latency is down 15%, TP99 for 8MB concurrent requests is down more than 85%, the 618 shopping festival passed the stress test, and 5% of traffic in core businesses already runs on Kunpeng clusters.

Overall: The takeaway for general readers is that technical optimization directly affects experience and revenue.

1. Experience: recommendations become faster and more accurate, and larger behavior sequences can be used to improve accuracy.

2. Business: latency is revenue; saved latency can run larger models. Double 11 will move larger-scale business onto Kunpeng, and the future will focus on Agentic AI and Agent sandboxes.

Brand: Overall: For brands, the article shows that JD Advertising’s matching-layer efficiency and generative recommendation capabilities will affect brand reach, conversion, and campaign ROI.

1. Users and reach: JD covers more than 700 million annual active users, 70% of merchants are also advertisers, and each month it helps top brands reach more than 40 million core audience members.

2. Marketing efficiency: ad sales = impressions × click-through rate × conversion rate; generative recommendations deliver double-digit revenue growth; after a 15% latency reduction, behavior sequences can be expanded, recommendation accuracy improved, and saved latency used to run larger models for better results.

3. Major-promotion validation: during 618, the system must not fail, must serve more customers stably, and must not spike latency; 5% of traffic in core businesses already runs on Kunpeng clusters, with larger-scale deployment planned for Double 11.

Overall: Brands can monitor spillover effects of platform capabilities and future scenarios.

1. Capability spillover: the same approach applies to search and recommendation and other businesses, so brands can expect more stable recommendations and ad matching.

2. New scenarios: Agentic AI suits scenarios with complex decisions, limited decision counts, and a need for optimized decisions; advertising and search/recommendation naturally contain such scenarios.

3. Risk note: strong dependence on a large memory pool amplifies system risk, and network outages or jitter can affect a wider scope; brands should pay attention to stability during major promotions.

Seller: Overall: Sellers can view the article as a signal of platform advertising efficiency and compute upgrades, centered on search/ad/recommendation matching and latency gains.

1. Platform actions: 70% of JD merchants are also advertisers; search, advertising, and recommendation connect merchants and consumers, and matching affects conversion and platform revenue; the ad system is moving toward generative models, with room for double-digit revenue growth.

2. Opportunities: end-to-end latency is down 15%, and repeated computation in local KV Cache is reduced by 80%–90%; saved latency can support larger models, better results, and more revenue; 5% of traffic in core businesses already runs on Kunpeng, with larger-scale rollout during Double 11.

3. Lessons: prioritize core businesses for new clusters; use tiered storage, Lingqu shared-memory pools, and RPC redesign to cut latency; 618 validated that the system must not fail, must serve more customers stably, and must not spike latency.

Overall: Sellers should also note risks and responses.

1. Risks: heavy dependence on an enormous memory pool amplifies system risk, and outages or jitter in core links can affect a wider scope; data-center space, scalability, and stability are implementation challenges.

2. Responses: liquid cooling improves deployment density, but cables cannot be too long; continued work is needed at the protocol layer, switching links, operating system, and chip level.

3. Collaboration: JD and Kunpeng jointly developed supernodes, and Lingqu attracts hardware vendors and software-layer customers; sellers can watch how platform capability upgrades change advertising efficiency.

Factory: Overall: The practical takeaways for factories center on supernode hardware requirements, liquid cooling and interconnect components, and implications for digitalization and e-commerce infrastructure.

1. Product and design requirements: Lingqu enables 4K-node ScaleUp networking, a single supernode supports more than 1.5 million vCPUs, each node has 3.2Tb interconnect bandwidth, and the system requires large scale, high bandwidth, non-converged networking, and high availability; when data-center space is insufficient, liquid-cooled servers can increase deployment density, and cables cannot be too long.

2. Business opportunities: Huawei released multiple NPO hardware products to address optical transmission link issues; Lingqu attracts server vendors and storage vendors working on SSD protocols to develop IP-based products, and also attracts software-layer customers to innovate in architecture and software solutions.

3. Digitalization lessons: eliminate the remote database and third-level cache, leaving only two tiers—on-chip memory and DDR; process tens of thousands of preprocessing tasks with near-data CPU processing and topology-aware scheduling; RPC bypasses Socket/TCP/IP, with the UB unified protocol directly connecting to URMA.

Overall: Implications for factories advancing e-commerce.

1. The compute foundation determines advertising and e-commerce efficiency; latency optimization can enable larger models and more revenue.

2. Transformation will extend from advertising inference toward both upstream and downstream areas, creating room for participation in hardware, storage, liquid cooling, and interconnect.

3. Future directions worth tracking include shared SuperCache, high-density Agent sandboxes, and multimodal fusion retrieval.

Service provider: Overall: For service providers, the article is a case study of generative advertising compute pain points and software-hardware co-designed solutions.

1. Customer pain points: 300 ms full-link latency and 20–100 ms inference; daily requests in the hundreds of billions; behavior sequences above 1K amplify KV Cache capacity requirements; four-tier caching has limited capacity, weak concurrency, high latency, and extra investment; each request involves dozens of RPCs, with communication accounting for more than 20% of latency and millions of RPCs requiring TB-level memory per node.

2. Solution: Lingqu 4K-node ScaleUp, more than 1.5 million vCPUs, and 3.2Tb interconnect; two-tier caching forms a 300TB shared-memory pool, reducing cache-to-cache latency by three orders of magnitude and delivering 16x the bandwidth of TCP; RPC latency overhead is down 38%, communication memory down 100x, and stability improved by 40%.

3. Results and validation: end-to-end latency is down 15%, TP99 for 8MB concurrent requests is down more than 85%, TP99 for 64MB sequences falls to 1/16, 618 passed the stress test, and 5% of traffic in core businesses runs on Kunpeng.

Overall: Service providers can focus on implementation challenges and the next wave of technology.

1. Implementation challenges: data-center space, scalability and stability, generalization of Lingqu protocols for external connectivity, and amplified system risk from large memory pools.

2. New technologies: shared SuperCache, high-density Agent sandboxes, multimodal fusion retrieval, and Agentic AI.

3. Trends: the CPU-to-NPU ratio is moving from 1:4 toward 1:1, with JD seeing a possible 4:1; supernodes are not just a hardware concept—operating systems, scheduling, and middleware must all change.

Marketplace seller: Overall: Marketplace sellers can focus on platform requirements, operational practices, and risk avoidance for JD Advertising under generative recommendation.

1. Requirements and problems: search, advertising, and recommendation are the core layer matching advertisers, merchants, and consumers; matching quality affects conversion and platform revenue; daily requests are in the hundreds of billions, the latency budget is 300 ms, and inference is only 20–100 ms; models update weekly and papers go live in two weeks, while compute capacity expands quarterly—a stark mismatch.

2. Latest practices: jointly develop supernodes with Kunpeng, with Lingqu 4K-node ScaleUp, more than 1.5 million vCPUs per supernode, and 3.2Tb interconnect; eliminate the remote database and third-level cache, leaving only two tiers and forming a 300TB shared-memory pool; RPC redesign cuts latency overhead by 38% and communication memory by 100x; end-to-end latency is down 15%.

3. Operations management: prioritize core businesses for new clusters; 618 validated that the system must not fail, must serve more customers stably, and must not spike latency; Double 11 will drive larger-scale deployment; saved latency can run larger models.

Overall: Platform merchant recruitment and trend risk avoidance.

1. Ecosystem collaboration: Lingqu attracts server vendors, SSD storage vendors, and software-layer customers; capabilities spill over to search and recommendation and other businesses, offering a reference for peers.

2. Risk avoidance: heavy dependence on large memory pools amplifies system risk, and network outages or jitter can have broad impact; data-center space, scalability, and stability require continuous refinement.

3. Next phase: shared SuperCache, high-density Agent sandboxes, multimodal fusion retrieval, and Agentic AI.

Researcher: Overall: The article provides an industry sample of generative advertising moving from discriminative recommendation toward generative and Agentic AI, centered on the conflict between thousandfold compute growth and a millisecond latency red line.

1. New industry developments: JD Advertising’s behavioral context is up 10x, model structure up 100x, and compute demand up about 1,000x; the field has moved from rules and machine learning to deep learning, then generative and Agentic AI; generative approaches deliver double-digit revenue growth.

2. New problems: latency has two parts, KV Cache’s four-tier caching faces an impossible triangle, and RPC communication accounts for more than 20% of latency; weekly model updates do not match quarterly compute expansion; supernode deployment faces issues such as data-center space, scalability and stability, and amplified system risk.

3. Technical path: Lingqu 4K-node ScaleUp, more than 1.5 million vCPUs, and 3.2Tb interconnect; two-tier caching with a 300TB shared-memory pool; UB directly connects to URMA, cutting RPC latency by 38% and memory by 100x; end-to-end latency is down 15%.

Overall: Business model and implications.

1. Business model: latency is revenue; saved latency can run larger models, delivering better results and more advertising revenue.

2. New judgments: Agentic AI suits scenarios with complex decisions, limited decision counts, and a need for optimized decisions; prerequisites include abundant data, sufficient compute, strong foundation models, and the ability to iterate in a loop; the CPU-to-NPU ratio is moving from 1:4 toward 1:1, with JD seeing a possible 4:1.

3. Industry implications: supernodes are not just a hardware concept—operating systems, scheduling, and middleware must change accordingly; capabilities can spill over to search and recommendation, and transformation will extend upstream and downstream.

Disclaimer: The "Quick Summary" content is entirely generated by AI. Please exercise discretion when interpreting the information. For issues or corrections, please email run@ebrun.com .

I am a Brand Seller Factory Service Provider Marketplace Seller Researcher Read it again.

电商广告的账,最后都记在毫秒上。

京东给全链路的时延预算是300毫秒,留给广告模型推理的部分只有20到100毫秒。超出这个窗口,用户滑动页面时会察觉到卡顿,电商广告成交也就无从谈起。而在最近两年,这套推荐系统正从传统深度学习迁往生成式范式:行为上下文长了10倍,模型结构大了100倍,算力需求随之涨了大约1000倍。机房扩容的周期,却是按季度计的。

当然,这不仅是京东一家所面临的挑战,而是困扰每一家涉及搜广推的互联网企业的共性难题。而在解决这个难点的路上,京东已经先行启程,为行业提供了可借鉴的解题思路。

算力的账:两位数增长与千倍挑战

先看生意本身。京东覆盖超7亿年度活跃用户,平台上70%的商家同时也是广告主,每月帮助顶级品牌触达超4000万核心受众,作为京东集团旗下的营销推广平台,面向B端用户的京准通与C端流量双向协同驱动增长。

京东零售广告产研部算法应用相关负责人对搜广推业务的定位很直接:“搜广推这个业务,是京东在同时撮合广告主,甚至是商家、卖家,跟我们京东消费者进行最重要的匹配,这件事情的用户体验的好和差,很大程度上直接决定京东业务发展的体量。”换句话说,搜广推不只是推荐系统的一个子集,而是京东商业效率的核心撮合层。它连接两端:一端是广告主和商家,另一端是消费者;匹配得好不好,直接体现在成交、转化和平台收入上。

生意的底层是算法,算法的底层是算力。电商广告成交=曝光×点击率×转化率,过去十几年,整个互联网广告行业都在沿着这条路上迭代:从规则投放,到机器学习,再到深度学习。而京东广告系统的演进轴上,最近的两级是生成式和Agentic AI。

需要说明的是,传统推荐系统一般被称作“判别式推荐”,并不全是深度学习,其核心是基于统计关联和手工特征工程的传统机器学习方法;深度学习是2015年之后才逐渐融入推荐系统的技术路线。而近两年生成式技术落到广告场景,带来的是两位数级别的收入提升,但这一切的前提是:具备先进的算法和充裕的算力。

基于此,京东广告在过去一两年从深度学习迁移到生成式推荐,用统一的序列模型把这些能力融合在一起,最终实现了行为上下文增长10倍、生成式模型结构放大100倍、算力需求提高约1000倍。而这个增长速度,远远超过了业务复杂度和业务收益的增长速度。

这些增长带来的挑战,不是单纯能靠GPU解决的。对此,京东零售广告产研部算法应用相关负责人表示,京东发现,在传统智算超节点聚焦纯GPU/NPU的背景下,想要让算法跟业务紧密结合,真正的制约是数据预处理、数据检索与业务逻辑嵌入,这些流程大量跑在通算上,CPU资源远远不够。“真正的业务流程是网状的,你依赖的算力从来不是NPU和GPU,而是能不能把前面最耗时最复杂的部分先搞定,才能给加速芯片任务。”该名负责人指出。

这个过程中,时延是一条不可谈判的红线。京东广告业务的日请求量千亿级,单次推理必须控制在几十毫秒内完成,否则收益归零。京东零售广告产研部算法应用相关负责人补充了一个来自用户侧的刻度:人对APP滑动和点击的反应有判断,超过600多毫秒就会明显感到卡顿;扣掉基站通信之后,真正留在数据中心、留给模型推理的空间很小。另一头,算法每周更新,新论文从开源到上线最短只要两周,而算力扩容以季度计。

时延主要有两部分,一部分是KV Cache。行为序列超1K,KV Cache容量需求被急剧放大;传统“片上内存—本地DDR—本地SSD—远端Redis”四级缓存存在容量小、并发弱、时延高、额外投资的矛盾——又快又大又稳定不可能同时满足。

另一部分是RPC通信。每次用户请求最少要建立几十个RPC服务调用,RPC通信耗时占整体时延20%以上,百万级RPC导致每节点TB级内存消耗。

这两笔账叠在一起,构成了整个搜广推行业在生成式时代最真实的算力账单:收入是两位数的增长空间,成本是千倍的算力需求,而时间窗口以毫秒计。

如何能把时延降低15%?

面对挑战,超节点成为当下最优解之一。先把时间拨回去年5月的鲲鹏开发者峰会。当时京东与鲲鹏团队确认了多个合作重点项目,判断的是三件事:这个事值不值得做、双方分别能做什么、做成的概率和收益空间有多大。“可能都不是以超节点的概念出来的,更多是我们遇到一些问题,一步步逼着大家要解决。”京东零售广告产研部算法应用相关负责人回忆。

既然“又快、又大、又稳定”在传统架构里是不可能三角,京东广告选的方向是做分级存储并尽量压缩层级。四级存储逐级命中调度本身就是负担,于是提出:把第四级(远端数据库)干掉,把第三级也干掉,只留两级(第一级片上内存,第二级一块足够大的DDR)。去年5月,华为架构师给出的方案是通过灵衢协议把几十台、几百台甚至更多机器连起来形成一个大池子,访问这个池子的内存与访问本地没有区别。

同时还有第二个动因:模型跑得更快、预估更准,依赖大量数据预处理。传统做法是在大数据集群上离线处理再读进来,但很多用户行为刷新极快,离线回流太慢。京东广告希望直接用推理集群的算力做处理,拿最新鲜的行为数据,数万起步的预处理任务如果按传统分布式方式拆到很多节点,必然出现木桶效应,所以更合适的方式是让CPU与数据近端处理,靠拓扑感知调度把任务打到最可能需要这份数据的节点上。

具体来看,华为鲲鹏与京东广告的合作主要集中在三个层面:

第一是创新组网。基于灵衢(UnifiedBus)互联实现4K节点ScaleUp组网,单超节点支持150万+vCPU,每节点3.2Tb互联带宽,具备大规模、大带宽、不收敛、高可用四大特性。“不收敛”这四个字对广告业务至关重要——跨层带宽不收敛、扩容时带宽不下降,才扛得住广告模型和数据的持续膨胀。

第二是KV Cache两级缓存。通过灵衢协议把几十台、几百台机器连成巨大的内存池,干掉传统的第四级远端数据库和第三级,只留片上内存+DDR两级,形成300TB共享内存池。结果是一组相当陡峭的数字:缓存间时延下降3个量级,带宽达TCP的16倍;8MB并发请求TP99时延下降85%以上(最高92.6%),64MB序列长度TP99降至1/16。“以往来说,容量跟时延是二选一的题,现在有了鲲鹏超节点合作,可以都要。”京东零售广告产研部算法应用相关负责人在华为全联接大会2026——鲲鹏计算产业峰会上说。对京东广告而言,这意味着可以继续扩大用户的行为序列作为推理的输入,提高推荐精度。

第三是RPC通信改造。跳过传统网络协议栈(Socket/TCP/IP),UB统一协议直连URMA,时延开销降低38%;RPC通道复用使通信用内存降低100倍;多路径聚合Tb级带宽替代百Gb单一通路,通信稳定性提升40%,1MB数据包时延下降84%,P99整体优化40%以上。

正是通过这三个环节的改变,京东广告把端到端推理时延降低了15%。但落地的过程也并不是一帆风顺的。“灵衢是一个非常好的能力,或者说一个工具、一个构想,但是在一个构想落地的过程中,一定会面临现实的拷打。”京东零售广告产研部算法应用相关负责人坦言。

首先,机房空间就是最大的挑战。要连的机器足够多,但机房空间不够,华为给出的反应很快,既然机器摆不开,就做液冷服务器提高摆放密度,同时线缆又不能太长;其次,扩展性与稳定性也是不小的挑战。灵衢的扩展能力、以及灵衢协议外联时的泛化问题,无一例外都需要稳定性;第三,系统风险被放大。如果业务强依赖一个巨大无比的内存池,一旦核心链路出现断网或抖动,影响范围比传统架构大得多。

这些问题的解法分散在多个层面。华为今年发布了多款NPO硬件解决光传输链路上的问题,操作系统的调度在同步升级,灵衢协议也在持续打磨,新增能力分别落在协议层、交换链路、操作系统以及CPU/NPU侧芯片上。“每一个新打磨进去的能力,我们一定都是踩过对应的坑,而这些坑的价值在于后面的人可以少踩。”京东零售广告产研部算法应用相关负责人如是说。

当新的架构搭建完成后,验证选在的电商业务负荷的最高峰之一的“618”大促期间。京东零售广告产研部算法应用相关负责人告诉我们,这套软硬件方案要至少能达到三个效果:系统不能崩、要在相对稳定的情况下服务更多客户、延迟不能因为压力大就飙升导致降级或熔断。

最终,这套方案承受住了“618”的“大考”,实现广告推理端到端时延降低15%,局部KV Cache命中率相关的重复计算降低百分之八九十,核心业务场景5%的流量已在鲲鹏集群上运行,经受住了洪峰、稳定性与时延的“考题”。

更重要的是这笔账的商业属性。“延迟省下来之后我们就会在这个固定的延迟内上更大的模型。更大的模型,更好的效果,更多的钱。”京东零售广告产研部算法应用相关负责人表示,在京东广告内部有一个观点:时延就是收益,这不只是降本,更是增收。省下的时延预算可以用来跑更大的模型,更大模型带来更好效果,进而带来更多广告收入。

当然,这一切还只是合作的开始,京东零售广告产研部算法应用相关负责人与我们分享了接下来的计划,他表示,目前还不是全量的搜广推业务都在鲲鹏上,一方面产能还需要提升,另一方面进度也没有那么快,所以策略是拿核心业务优先上新型集群,先在核心业务场景发挥作用。据披露,京东广告目前正在稳步推进“双十一”,将更大规模的业务搬上鲲鹏。

从SuperCache到Agent沙箱,下一程在哪?

随着AI Agent的发展,算力的需求还会不断增加,而双方的合作也将继续围绕让算力更普惠、更好用展开。

首先是“打好地基”。KV Cache和数据处理这两块在鲲鹏上已经做了大量工作,目前正处在大规模上量过程中,核心效果业务先上新型集群,会坚定继续推进。京东广告也意识到,除了已经实现的部分,过程中还发现了更多需要改造和改进的地方,这部分会与华为在系统、调度、机房、优化等各团队继续合作。

其次,在原有方案的基础上,除了广告推广业务,还将进一步将能力外溢。京东零售广告产研部算法应用相关负责人表示,同样的解法不只对广告场景有用,对搜推这类不需要考虑广告主的业务同样适用。

除此之外,京东之外的其他友商也在跟进做相关业务,这套方案对他们也是一个范例。该负责人还预判,随着模型越做越大、对算力和延迟的苛求越来越激进,改造一定会从广告相关推理向更上游和更下游延展。

这与华为侧的开放姿态是呼应的:灵衢希望吸引两类伙伴,一类是硬件厂商,基于其IP开发产品,可以是服务器厂商,也可以是做SSD协议的存储厂商;另一类是软件层客户,基于灵衢协议做架构和软件方案层面的创新。京东与鲲鹏共同踩过的坑、打磨进协议层与芯片侧的每一项能力,最终都将成为后来者少走弯路的路标。

第三是围绕其他前沿技术进行探索,比如共享SuperCache(L2、L3扩容,通算与智算统一互联)、Agent高密沙箱(秒级并发十万级沙箱,资源5倍超分,跨节点自由调度)、以及多模态融合检索等方向。

最后,Agentic将是接下来的重点。智能体适合的是决策复杂、次数有限且需要做最优化决策的场景;规则极其明确的场景反而没有Agent化的必要。京东零售广告产研部算法应用相关负责人表示,广告和搜推天然存在这类场景,京东广告希望把决策空间很大、次数有限且需要做最优化决策的场景都Agent化。但这位负责人指出,这件事的前提有四个:数据是否足够多、算力是否充沛、基础模型能力是否足够强、能不能支撑模型的循环迭代;再往下一层,落到算力和通信上,挑战比现在会更大。

在这个背景下,双方对算力底座还有一层更深远的判断。华为在鲲鹏计算产业峰会上给出过一个趋势:进入Agentic AI时代,智能体将大量依靠CPU完成调度编排、记忆处理、沙箱运行等工作,CPU与NPU的配比将从过去的1:4历史性地走向1:1。而京东从业务侧看到的更激进——1:1根本不够,从业务的复杂度出发,看到的可能是4:1。原因有两个:前面要处理的数据越来越多,同时单卡性能本身也在上涨。“超节点可能是一个硬件的概念,但事实上远远不是一个硬件的概念。”这意味着操作系统、调度、中间件都会跟着目标改变硬件形态。

让我们再回到文章开头提到的那笔电商的账,“如果可以优化下来一毫秒,我们就要有几千万的提升。”在广告这个行业,对于延迟的优化是无止境的。端到端推理时延降低15%只是开始,Agentic AI的星辰大海,才是双方未来合作聚焦的重点。

注:文/钛媒体,文章来源:钛媒体(公众号ID:taimeiti),本文为作者独立观点,不代表亿邦动力立场。

文章来源:钛媒体

广告
微信
朋友圈

FAQ回顾

京东广告如何将生成式广告推理时延降低15%?

京东广告通过与华为鲲鹏超节点合作,在创新组网、KV Cache两级缓存和RPC通信改造三方面优化:基于灵衢实现4K节点ScaleUp组网,单超节点支持150万vCPU;用300TB共享内存池把缓存层级从四级压到两级;RPC跳过传统协议栈,时延开销降低38%,整体P99优化40%以上,最终端到端推理时延降低15%。

生成式推荐为什么给电商广告带来千倍算力挑战?

京东广告从深度学习迁移到生成式推荐后,行为上下文增长10倍、模型结构放大100倍,算力需求提高约1000倍。京东日请求量千亿级,全链路时延预算300毫秒,广告模型推理只留20到100毫秒;算法每周更新,算力扩容却按季度计,形成收入两位数增长与千倍算力成本的矛盾。

鲲鹏超节点的KV Cache两级缓存解决了什么问题?

传统“片上内存—本地DDR—本地SSD—远端Redis”四级缓存存在容量小、并发弱、时延高和额外投资问题,又快又大又稳定难以兼得。鲲鹏超节点通过灵衢把几十到几百台机器连成300TB共享内存池,去掉远端数据库和第三级,只留片上内存与DDR;缓存间时延下降3个量级,带宽达TCP的16倍,8MB并发请求TP99时延下降85%以上。

Agentic AI时代CPU与NPU配比会如何变化?

华为在鲲鹏计算产业峰会上判断,Agentic AI时代智能体大量依靠CPU完成调度编排、记忆处理和沙箱运行,CPU与NPU配比将从过去的1:4走向1:1。京东从业务复杂度出发更激进,认为可能达到4:1,原因是前置数据处理量越来越大,同时单卡性能本身也在上涨。

京东广告的鲲鹏超节点方案目前落地进展如何?

方案已在618大促验证,广告推理端到端时延降低15%,局部KV Cache命中率相关重复计算降低80%至90%,核心业务场景5%的流量已在鲲鹏集群运行。目前并非全量搜广推业务迁移,策略是核心业务优先上新型集群,并正推进双十一将更大规模业务搬上鲲鹏。

这么好看,分享一下?

朋友圈 分享

APP内打开

赞 +1
+1
微信好友 朋友圈 新浪微博 QQ空间
关闭
收藏成功
发送
/140 0