普通读者:总:文章核心是京东广告联合鲲鹏,用超节点把生成式广告端到端推理时延降低15%,核心矛盾是算力需求千倍增长而时延窗口只有几十毫秒。
1. 关键数据:全链路时延预算300毫秒,广告推理仅20到100毫秒;日请求千亿级;行为上下文增10倍、模型结构增100倍、算力需求增约1000倍;模型周更、算力扩容按季度。
2. 核心做法:干掉远端数据库和第三级缓存,只留片上内存与DDR两级;灵衢把多机连成300TB共享内存池;RPC跳过传统协议栈,时延开销降38%、通信用内存降100倍。
3. 结果:端到端时延降15%,8MB并发请求TP99降85%以上,618通过大考,核心业务5%流量已在鲲鹏集群运行。
总:对普通读者的启示是技术优化直接关系体验和收益。
1. 体验:推荐更快更准,可扩大行为序列提高精度。
2. 商业:时延就是收益,省下时延跑更大模型;双十一将更大规模业务搬上鲲鹏,未来看Agentic AI与Agent沙箱。
品牌商:总:对品牌商而言,文章显示京东广告的撮合层效率和生成式推荐能力会影响品牌触达、转化与投放回报。
1. 用户与触达:京东覆盖超7亿年度活跃用户,70%商家也是广告主,每月帮助顶级品牌触达超4000万核心受众。
2. 营销效率:广告成交=曝光×点击率×转化率;生成式推荐带来两位数收入提升;时延降低15%后可扩大行为序列、提高推荐精度,并用省下时延跑更大模型,效果更好。
3. 大促验证:618期间系统不能崩、稳定服务更多客户、延迟不飙升;核心业务5%流量已在鲲鹏集群运行,双十一推进更大规模。
总:品牌投放可关注平台能力外溢与未来场景。
1. 能力外溢:同样解法适用于搜推等业务,品牌可期待更稳定的推荐和广告匹配。
2. 新场景:Agentic适合决策复杂、次数有限、需最优化决策的场景,广告和搜推天然存在这类场景。
3. 风险提示:大内存池强依赖带来系统风险放大,断网或抖动影响范围更大,品牌需关注大促稳定性。
卖家:总:卖家可把文章看作平台广告效率与算力升级的机会提示,核心是搜广推撮合和时延收益。
1. 平台动作:京东70%商家也是广告主;搜广推连接商家和消费者,匹配影响成交转化和平台收入;广告系统迁往生成式,收入有两位数提升空间。
2. 机会:端到端时延降15%,局部KV Cache重复计算降80%到90%;省下时延可上更大模型,带来更好效果和更多钱;核心业务5%流量已上鲲鹏,双十一更大规模推进。
3. 可学习点:核心业务优先上新型集群;用分级存储、灵衢共享内存池、RPC改造降时延;618验证系统不能崩、稳定服务更多客户、延迟不飙升。
总:卖家也要注意风险与应对。
1. 风险:强依赖巨大内存池会放大系统风险,核心链路断网或抖动影响范围更大;机房空间、扩展性和稳定性是落地挑战。
2. 应对:液冷提高摆放密度、线缆不能太长;协议层、交换链路、操作系统和芯片侧持续打磨。
3. 合作方式:京东与鲲鹏联合做超节点,灵衢吸引硬件厂商和软件层客户,卖家可关注平台能力升级带来的投放效率变化。
工厂:总:文章给工厂的干货集中在超节点硬件需求、液冷与互联部件,以及数字化和电商基础设施启示。
1. 产品与设计需求:灵衢实现4K节点ScaleUp组网,单超节点支持150万+vCPU,每节点3.2Tb互联带宽,要求大规模、大带宽、不收敛、高可用;机房空间不够时用液冷服务器提高摆放密度,线缆不能太长。
2. 商业机会:华为发布多款NPO硬件解决光传输链路问题;灵衢吸引服务器厂商和做SSD协议的存储厂商基于IP开发产品,也吸引软件层客户做架构和软件方案创新。
3. 数字化启示:干掉远端数据库和第三级缓存,只留片上内存与DDR两级;用CPU与数据近端处理、拓扑感知调度处理数万预处理任务;RPC跳过Socket/TCP/IP,UB统一协议直连URMA。
总:对工厂推进电商的启示。
1. 算力底座决定广告和电商效率,时延优化能换来更大模型和更多收入。
2. 改造会从广告推理向更上游和更下游延展,硬件、存储、液冷、互联都有参与空间。
3. 未来共享SuperCache、Agent高密沙箱、多模态融合检索等方向值得跟踪。
服务商:总:对服务商而言,文章是一份生成式广告算力痛点和软硬协同解决方案的案例。
1. 客户痛点:全链路300毫秒、推理20到100毫秒;日请求千亿级;行为序列超1K导致KV Cache容量需求放大,四级缓存容量小、并发弱、时延高、额外投资;每次请求几十个RPC,通信占时延20%以上,百万级RPC每节点TB级内存。
2. 解决方案:灵衢4K节点ScaleUp、150万+vCPU、3.2Tb互联;两级缓存形成300TB共享内存池,缓存间时延降3个量级、带宽为TCP的16倍;RPC时延开销降38%、通信用内存降100倍、稳定性提升40%。
3. 效果与验证:端到端时延降15%,8MB并发请求TP99降85%以上,64MB序列TP99降至1/16,618通过大考,核心业务5%流量上鲲鹏。
总:服务商可关注落地难点和下一波技术。
1. 落地难点:机房空间、扩展性与稳定性、灵衢协议外联泛化、大内存池系统风险放大。
2. 新技术:共享SuperCache、Agent高密沙箱、多模态融合检索、Agentic AI。
3. 趋势:CPU与NPU配比从1:4走向1:1,京东看可能4:1;超节点不只是硬件概念,操作系统、调度、中间件都要变。
平台商:总:平台商可关注京东广告在生成式推荐下的平台需求、运营做法和风险规避。
1. 需求与问题:搜广推是撮合广告主、商家和消费者的核心层,匹配好坏影响成交转化和平台收入;日请求千亿级,时延预算300毫秒,推理仅20到100毫秒;模型周更、论文两周上线,算力扩容按季度,矛盾突出。
2. 最新做法:联合鲲鹏做超节点,灵衢4K节点ScaleUp、单超节点150万+vCPU、3.2Tb互联;干掉远端数据库和第三级缓存,只留两级,形成300TB共享内存池;RPC改造降38%时延开销、通信用内存降100倍;端到端时延降15%。
3. 运营管理:核心业务优先上新型集群,618验证系统不能崩、稳定服务更多客户、延迟不飙升;双十一推进更大规模;省下时延跑更大模型。
总:平台招商与风向规避。
1. 生态合作:灵衢吸引服务器厂商、SSD存储厂商和软件层客户;能力外溢到搜推等业务,友商可参考。
2. 风险规避:大内存池强依赖导致系统风险放大,断网抖动影响范围大;机房空间、扩展性、稳定性需持续打磨。
3. 下一程:共享SuperCache、Agent高密沙箱、多模态融合检索和Agentic AI。
研究者:总:文章提供了生成式广告从判别式推荐走向生成式和Agentic AI的产业样本,核心是算力千倍增长与时延毫秒红线的矛盾。
1. 产业新动向:京东广告行为上下文增10倍、模型结构增100倍、算力需求增约1000倍;从规则、机器学习、深度学习到生成式、Agentic AI;生成式带来两位数收入提升。
2. 新问题:时延两部分,KV Cache四级缓存存在不可能三角,RPC通信占时延20%以上;模型周更与算力季度扩容不匹配;超节点落地有机房空间、扩展性稳定性、系统风险放大等问题。
3. 技术路径:灵衢4K节点ScaleUp、150万+vCPU、3.2Tb互联;两级缓存300TB共享内存池;UB直连URMA,RPC时延降38%、内存降100倍;端到端时延降15%。
总:商业模式与启示。
1. 商业模式:时延就是收益,省下时延跑更大模型,带来更好效果和更多广告收入。
2. 新判断:Agentic适合决策复杂、次数有限、需最优化决策场景;前提是数据多、算力充沛、基础模型强、能循环迭代;CPU与NPU配比从1:4走向1:1,京东看可能4:1。
3. 产业启示:超节点不只是硬件概念,操作系统、调度、中间件要跟着变;能力可外溢到搜推,改造向上下游延展。
返回默认