广告
加载中

英伟达挑战者Etched创始人谈如何打造「前沿推理集群」:高度垂直整合模式

主编24小时在线 2026-07-02 10:52
主编24小时在线 2026/07/02 10:52

邦小白快读

EN
全文速览

本文介绍了AI推理芯片创业公司Etched的创业历程、核心业务与核心经验,干货要点如下:

1. 基本情况:Etched2022年成立,定位英伟达AI芯片挑战者,首款芯片已在台积电完成流片进入客户验证,目前已经获得超过10亿美元客户合同,累计融资8亿美元,投后估值50亿美元,团队超400人,核心成员来自英伟达、谷歌TPU等顶级硬件团队。

2. 核心模式与技术:不同于其他企业只做单芯片,Etched主打完整的前沿推理集群,覆盖芯片、机架、软件、生产全链路;核心技术包括低电压设计提升实际算力,降低功耗发热,自研互联和集群级内存提升推理效率,更关注整机架token产能而非单芯片峰值参数。

3. 创业实操经验:采用双峰人才策略,结合行业资深传奇人物和年轻创新者,通过并行开发提前完成所有非芯片准备工作,芯片回片后仅用40天就实现机架跑推理,远快于行业平均水平。

本文为AI领域品牌商梳理了推理赛道的行业趋势、产品研发方向和竞争经验,干货如下:

1. 行业与消费趋势:推理未来将成为比AI训练规模更大、更持续的市场,长程AI Agent会大幅放大推理需求,尤其对解码速度和并发能力要求持续提升;未来GDP增长将和单位电力能承载的智能体数量绑定,token生产会逐步实现规模经济,市场空间极大。

2. 产品研发方向:现有GPU架构并非为新一代大模型推理设计,推理核心瓶颈是预填充阶段算力和解码阶段数据移动,低电压推理、集群级内存架构是解决痛点的核心研发方向。

3. 品牌竞争经验:走高度垂直整合全链路路线,把量产和部署能力本身打造成核心壁垒,聚焦token产能核心指标,专注主赛道更容易吸引顶尖人才、供应商和客户资源,建立竞争优势。

本文梳理了AI推理赛道的最新机会、风险和可借鉴经营经验,干货如下:

1. 市场机会:当前推理已经成为AI规模化服务客户的核心瓶颈,资本和市场需求都在加速涌向推理基础设施赛道,未来十亿级用户使用大模型的市场缺口大,长程AI Agent带来的推理需求会持续爆发,是明确的增长市场。

2. 可学习经验:可借鉴Etched的经营策略,走垂直整合全链路路线,把量产能力做成核心壁垒;采用双峰人才招聘模式,结合资深老将的行业经验和年轻创业者的创新冲劲;用并行开发提前布局所有准备工作,用速度换市场优势。

3. 风险提示:AI推理赛道属于资本密集型赛道,早期融资难度高,对供应链深度协作能力要求高;行业整体面临电力供给不足的问题,需要提前规划布局,绑定核心供应商保障产能。

本文为AI硬件相关工厂带来产品需求、商业机会和生产模式的多方面启示,干货如下:

1. 产品生产与设计需求:AI推理产品不需要像传统芯片一样适配多场景通用需求,可以针对推理场景做定制化优化,比如放宽温度适用范围降低设计冗余,通过低电压设计提升算力,核心考核指标是整机架的token产能,而非单颗芯片的峰值参数。

2. 商业机会:推理已经成为AI产业增长最快的赛道,市场对完整可落地的推理集群需求迫切,吉瓦级规模的推理集群是行业明确的发展方向,具备硬件整合能力的工厂可以切入垂直整合的推理系统生产赛道,获得增长空间。

3. 生产模式启示:量产能力本身就是核心产品,需要推动设计、验证、生产全环节内部整合,采用并行开发模式提前推进多环节工作,大幅缩短产品上市周期,同时要和核心供应商建立深度合作伙伴关系,保障产能稳定。

本文明确了AI推理行业的发展趋势、客户核心痛点和创新技术方向,干货如下:

1. 行业发展趋势:推理将成为比AI训练规模更大、更持续的市场,未来token生产会走向大规模集群化,单个数据中心的规模会越来越大,市场对低成本、高并发、低延迟的推理解决方案需求会持续增长,行业空间广阔。

2. 客户核心痛点:现有主流GPU方案的痛点十分突出,热降频导致实际模型算力利用率仅为20%-50%,芯片间互联延迟高,大规模集群的内存带宽利用率低,无法满足大模型大规模并发推理的需求,客户迫切需要更高效的解决方案。

3. 新技术落地方向:低电压推理技术可以有效降低功耗,提升实际算力利用率;集群级内存架构搭配全定制互联,可以把芯片间延迟降低5倍以上,大幅提升大规模集群的推理效率,是值得布局的核心技术方向。

本文梳理了AI推理产业对平台的需求变化,以及平台运营、风险规避的方向,干货如下:

1. 市场需求变化:当前客户对AI算力平台的需求已经从采购单芯片转向采购完整可落地的推理集群解决方案,客户更关注整机架的token产能、每瓦token产出、大规模并发能力,而非单芯片的峰值参数,对全栈式解决方案的需求越来越高。

2. 平台运营与招商方向:平台可以重点引入走垂直整合路线、具备量产能力的推理解决方案商家,这类商家当前已经获得大量客户订单,市场需求旺盛,能够为平台带来流量和收入增长。

3. 风险规避方向:平台需要提前应对行业性的电力供给不足问题,通过引入更高能效的推理方案,提升单位电力的token产出,摊薄成本;同时要提前规避供应链风险,推动入驻商家和核心芯片制造供应商建立稳定合作,保障产能稳定供给。

本文披露了AI推理基础设施领域的最新产业动向,提出了新的技术路线与商业模式,干货如下:

1. 产业新动向:当前AI产业的核心瓶颈已经从模型训练转向推理落地,全球资本开始大量涌入AI推理基础设施赛道,初创团队切入AI高端芯片领域已经有了可复制的成功路径,Etched作为成立不到三年的初创公司,首次流片就成功,还拿到超10亿美元客户合同,验证了新路线的可行性。

2. 新技术与新商业模式:技术上提出低电压推理、集群级内存架构两大新方向,解决了现有方案的核心痛点;商业模式上走高度垂直整合的整机架推理集群路线,提出生产就是产品,量产能力才是核心壁垒的新观点,打破了行业原有认知。

3. 未来产业判断:提出未来AI产业竞争的核心是低成本高效率的token产能,大规模分布式推理集群会成为主流,最终推理会占据全球GDP的大部分,2027年左右从事知识工作的智能体数量会超过人类,这些新判断为产业研究提供了新方向。

返回默认

声明:快读内容全程由AI生成,请注意甄别信息。如您发现问题,请发送邮件至 run@ebrun.com 。

我是 品牌商 卖家 工厂 服务商 平台商 研究者 帮我再读一遍。

Quick Summary

This article profiles the journey, core business and key takeaways of AI inference chip startup Etched. Key insights:

1. Company Overview: Founded in 2022, Etched positions itself as a challenger to NVIDIA's AI chip dominance. Its first chip has completed tape-out at TSMC and entered customer validation, with over $1 billion in contracted client orders to date. The company has raised $800 million in total funding, reaching a post-money valuation of $5 billion, with a team of over 400 people. Core members hail from top hardware teams including NVIDIA and Google's TPU division.

2. Core Model and Technology: Unlike other firms that only develop single chips, Etched specializes in end-to-end cutting-edge inference clusters covering the full stack: chips, racks, software, and manufacturing. Its core technologies include low-voltage design that boosts practical computing power while cutting power consumption and heat, self-developed interconnect and cluster-level memory that improve inference efficiency. The company prioritizes rack-level token throughput over peak single-chip performance metrics.

3. Operational Entrepreneurship Insights: Etched uses a "bimodal talent strategy" that combines industry veterans with young innovators. By parallelizing development to complete all non-chip preparations in advance, the company got a full inference rack up and running just 40 days after receiving its first chip samples — far faster than the industry average.

This article outlines industry trends, product R&D directions and competitive insights for AI brands in the inference space. Key takeaways:

1. Industry and Consumer Trends: Inference will grow into a larger and more sustainable market than AI training. Long-context AI agents will dramatically expand inference demand, with requirements for faster decoding and higher concurrency rising steadily. Future GDP growth will be tied to the number of AI agents that can be powered per unit of electricity, and token production will gradually achieve economies of scale, opening up enormous market opportunities.

2. Product R&D Directions: Existing GPU architectures are not designed for next-generation large model inference. The core bottlenecks for inference are compute capacity during the prefill stage and data movement during the decoding stage. Low-voltage inference and cluster-level memory architecture are the core R&D directions to solve these pain points.

3. Brand Competitive Insights: A highly vertically integrated full-stack approach turns mass production and deployment capabilities into core moats. Focusing on the core metric of token throughput, and concentrating on the main inference track makes it easier to attract top talent, supplier partnerships and customer resources, helping to build sustainable competitive advantages.

This article summarizes the latest opportunities, risks and actionable business insights for players in the AI inference track. Key takeaways:

1. Market Opportunities: Inference has already become the core bottleneck for scaling AI services to end customers. Both capital and market demand are rapidly flowing into the inference infrastructure space. There is a massive unmet market need for large-scale large model adoption by a billion-sized user base, and inference demand driven by long-context AI agents will continue to explode, making this a clear high-growth market.

2. Actionable Insights: Players can draw on Etched's business strategy: adopt a vertically integrated full-stack approach to turn mass production capacity into a core moat; use a bimodal talent strategy that combines veterans' industry experience with young innovators' drive and fresh thinking; use parallel development to complete all preparations in advance, leveraging speed to gain first-mover market advantages.

3. Risk Warnings: The AI inference track is capital-intensive, with high barriers to early-stage fundraising and stringent requirements for deep supply chain collaboration. The industry as a whole faces power supply constraints, so players need to plan ahead and partner with core suppliers to secure stable production capacity.

This article shares insights on product demand, business opportunities and production models for AI hardware manufacturers. Key takeaways:

1. Product Design and Manufacturing Requirements: Unlike traditional general-purpose chips, AI inference products can be customized and optimized specifically for inference scenarios. For example, manufacturers can loosen temperature tolerance requirements to cut design redundancy, and use low-voltage design to boost compute capacity. The core performance metric is rack-level token throughput, not single-chip peak performance.

2. Business Opportunities: Inference is already the fastest growing segment of the AI industry, and there is urgent market demand for fully deployable inference clusters. Gigawatt-scale inference clusters are a clear industry direction, and manufacturers with existing hardware integration capabilities can enter the vertically integrated inference system manufacturing track to capture new growth.

3. Insights on Production Models: Mass production capability is the core product itself. Manufacturers need to integrate design, validation and production in-house, use parallel development to advance multiple workstreams at once to drastically shorten time-to-market, and build deep strategic partnerships with core suppliers to ensure stable production capacity.

This article outlines AI inference industry trends, core customer pain points and innovative technology directions for AI service providers. Key takeaways:

1. Industry Development Trends: Inference will grow into a larger and more sustainable market than AI training. Token production will move toward large-scale clustering, with individual data centers growing larger and larger. Market demand for low-cost, high-concurrency, low-latency inference solutions will keep growing, opening up enormous industry space.

2. Core Customer Pain Points: Current mainstream GPU solutions have critical flaws: thermal throttling leaves actual model compute utilization at just 20% to 50%, inter-chip interconnect latency is high, and memory bandwidth utilization in large clusters is low. These solutions cannot meet the requirements of large-scale concurrent inference for large models, and customers urgently need more efficient alternatives.

3. New Technology Deployment Directions: Low-voltage inference technology effectively reduces power consumption and improves practical compute utilization. Cluster-level memory architecture paired with fully custom interconnect can cut inter-chip latency by more than 5x, dramatically improving inference efficiency for large-scale clusters. These are core technology directions worth investing in.

This article summarizes shifting demand for AI inference platforms, and outlines directions for platform operation and risk mitigation. Key takeaways:

1. Shifting Market Demand: Today, customer demand for AI computing platforms has shifted from purchasing individual chips to sourcing fully deployable end-to-end inference cluster solutions. Customers now prioritize rack-level token throughput, token output per watt, and large-scale concurrency over single-chip peak performance, and demand for full-stack solutions is growing rapidly.

2. Platform Operation and Merchant Recruitment Directions: Platforms should prioritize onboarding vertically integrated inference solution providers with proven mass production capabilities. These providers already hold large volumes of client orders with strong market demand, and can drive traffic and revenue growth for platforms.

3. Risk Mitigation Directions: Platforms need to prepare for industry-wide power shortages in advance by onboarding more energy-efficient inference solutions to boost token output per unit of electricity and lower unit costs. They should also proactively mitigate supply chain risks by encouraging onboard merchants to build stable partnerships with core chip manufacturing suppliers to guarantee stable production capacity.

This article shares the latest industry developments in AI inference infrastructure, and proposes new technology roadmaps and business models for researchers. Key takeaways:

1. New Industry Developments: The core bottleneck of the AI industry has shifted from model training to inference deployment. Global capital is flowing heavily into the AI inference infrastructure space, and a replicable successful path has emerged for startups entering the high-end AI chip space. Etched, a startup founded less than three years ago, achieved success on its very first tape-out and secured over $1 billion in customer contracts, validating the feasibility of this new approach.

2. New Technology and Business Model: Technically, the company proposes two new directions — low-voltage inference and cluster-level memory architecture — that solve the core pain points of existing solutions. For business models, it pursues a highly vertically integrated full-rack inference cluster approach, putting forward the new perspective that "production is the product" and mass production capability is the core moat, breaking long-held industry assumptions.

3. Future Industry Outlook: The article argues that future AI industry competition will center on low-cost, high-efficiency token production, and large-scale distributed inference clusters will become the industry standard. Inference will eventually account for the majority of global GDP, and the number of knowledge-working AI agents will surpass that of humans by around 2027 — these new outlooks open up new directions for industrial research.

Disclaimer: The "Quick Summary" content is entirely generated by AI. Please exercise discretion when interpreting the information. For issues or corrections, please email run@ebrun.com .

I am a Brand Seller Factory Service Provider Marketplace Seller Researcher Read it again.

作者:MD

出品:明亮公司

6月30日,AI推理芯片创业公司Etched正式宣布走出“隐身模式”,其首款芯片已在台积电N4P制程上实现首次流片成功,并已进入客户验证阶段。公司称,围绕这款芯片打造的完整推理系统已获得超过10亿美元的客户合同,目前正在加速量产,以满足市场需求。

Etched成立于2022年,总部位于美国加州圣何塞,定位为英伟达AI芯片的重要挑战者。与只销售单颗芯片不同,Etched主打一整套面向前沿大模型的frontier inference clusters(前沿推理集群)。该系统包括自研AI芯片、定制机架、互联、软件和配套基础设施,目标是让前沿模型在推理环节运行得更快、成本更低、能效更高。公司表示,其系统目前已可运行DeepSeek、Qwen、Mamba、Llama等大模型,并设计为支持各种形态、任意大参数规模的模型。

随着AI加速嵌入各行各业,推理正成为AI公司规模化服务客户时最大的瓶颈和成本中心。Etched的核心判断是,除非推理基础设施在速度、成本和供给上实现数量级改善,否则前沿AI难以充分释放经济和社会价值。

公司同时披露,成立不到三年,已通过多轮此前未公开融资累计募集8亿美元。最近一轮融资为去年12月完成的5亿美元融资,投后估值达到50亿美元。投资方阵容强大,包括VentureTech Alliance的战略投资,以及Peter Thiel、Jane Street、Hudson River Trading、Jump Trading、Two Sigma、Stripes、Ribbit Capital、Radical Ventures、Primary VC、Positive Sum等机构和投资人。AI领域重量级人物也参与其中,包括Andrej Karpathy、Geoffrey Hinton、李飞飞、Stanley Druckenmiller、Arthur Mensch、Scott Wu等。

Etched正在围绕机架级系统推进规模化生产。公司已在中国台湾地区设立工厂,并在圣何塞总部建设了数据中心、测试中心和NPI原型实验室,将设计、验证和生产环节整合在同一体系之下。公司表示,其目标是在2027年迈向吉瓦级规模。

近日,Positive Sum CEO、播客InvestLike the Best主播与Etched两位创始人Gavin Uberti和Robert (Rob)Wachen进行了一番对话。Positive Sum也是Etched的投资人之一。

访谈内容基本可以总结为以下几点(TL;DR):

1.Etched认为,AI推理将成为比训练更持续、更庞大的市场。

2.公司不只做芯片,而是打造面向前沿模型的完整推理集群。

3.现有GPU等芯片架构并不是为新一代大模型推理专门设计的。

4.推理的核心瓶颈在于Prefill阶段的算力和Decode阶段的数据移动。

5.Etched通过低电压设计提升有效算力,并降低功耗与发热。

6.公司通过自研互联和集群级内存架构提升Decode效率。

7.Etched更关注整机架token产能,而不是单颗芯片的峰值参数。

8.公司采取高度垂直整合路线,覆盖芯片、机架、软件、测试和生产。

9.Rob认为“生产就是产品”,量产和部署能力本身就是核心壁垒。

10.Etched通过极快执行和并行开发,在芯片回片前完成大量系统准备。

11.公司团队超过400人,成员主要来自NVIDIA、Broadcom、Google TPU等顶级硬件团队。

12.Etched早期融资十分困难,2023年几乎被主流投资机构集体拒绝。

13.随着推理瓶颈凸显,资本市场已转向追逐AI推理基础设施。

14.公司已累计融资8亿美元、估值50亿美元,并获得超10亿美元客户合同。

15.未来AI基础设施竞争的核心,可能是低成本、高效率的token产能。

16.长程AI Agent会显著放大推理需求,尤其是对Decode速度和并发能力的需求。

17.Rob认为,未来GDP增长可能取决于每兆瓦电力能运行多少智能体。

18.Etched接下来仍需证明其量产能力、客户部署效果和对英伟达生态的竞争力。

Etched联合创始人兼CEO Gavin Uberti表示,公司很早就意识到,前沿AI将成为有史以来最具经济意义的技术之一,但支撑这些模型可持续、经济化运行的基础设施并不存在。联合创始人Rob Wachen则强调,Etched从一开始就是为吉瓦级规模而建设,“生产就是产品”。在他看来,AI基础设施建设正处于历史上最大规模的投资周期之一,真正重要的公司将是那些能把技术转化为可大规模制造、部署和运营系统的公司。

目前,Etched团队已超过400人,成员主要来自NVIDIA、Broadcom、Google TPU、SK Hynix、高频量化交易公司等曾参与构建当代AI推理系统的机构。Stripes创始人兼合伙人Ken Fox表示,推理将成为AI最关键趋势之一,而Etched之所以特殊,是因为Gavin和Rob不仅招募了来自NVIDIA、Google TPU和Broadcom的顶尖团队,也选择构建完整系统,而不是只做其中一块。公司自Stripes领投B轮以来推进速度超过预期,目前已进入客户硬件验证和性能调试阶段。

如今,随着推理成为AI产业的关键瓶颈,资本正加速涌向AI芯片和基础设施公司。Cerebras完成备受关注的IPO;Amazon、Google、Microsoft等云巨头均在推进自研AI芯片,OpenAI也宣布与Broadcom合作推出首款定制芯片。

Etched正是在这一轮AI推理基础设施竞赛中快速升温的新玩家。

以下为「明亮公司」编译的访谈内容(全文较长,有删节):

Patrick(主播):我今天的嘉宾是Gavin Uberti和Robert(Rob) Wachen,他们是Etched的创始人。

几年前,当他们决定要打造一款比全球最大科技公司更好的AI芯片时,我几乎打电话问过所有我能问到的人,而大家几乎都告诉我,这不可能做到。但他们后来真的做到了。他们第一次流片就成功做出了一颗可工作的芯片,并成为ChatGPT之后成立的第一家完成这一点的硬件公司。他们的首款产品已经获得超过10亿美元的客户需求,并已融资8亿美元用于建设。

Etched打造的是用于更快、更低成本运行AI模型的芯片和系统。他们在2023年创办公司,产品不是单颗芯片,而是一整套用于AI推理的完整机架系统——包括芯片、板卡、供电、互联以及实现规模化生产所需的全部制造体系。

访谈会谈及他们架构背后的技术押注、他们如何招募行业传奇人物并让其与顶尖的22岁年轻人并肩工作,以及为什么他们相信AI推理将成为全球最大的市场之一。

21岁、哈佛辍学来做做芯片:没人相信我们

Patrick:两位,距离Gavin和我上次做这样的访谈大概已经三年了,挺疯狂的。当时我对你们的故事和你们打算做的事情非常感兴趣。那时候我对芯片还了解不多,也在考虑投资你们公司,所以我到处打电话,希望找到能给我意见的人。当时大家的共识是:这种公司不是年轻人能做出来的。在半导体行业,最好的公司通常由40岁、50岁、有完整职业经历的人创立。他们经历过很多问题,做过多颗芯片,真正交付过产品。

两个21岁的年轻人不可能做成这件事。这行不通。

这也反映出一个主题:没人相信我们。

当然,现在这已经发生了很大变化。只要走在公司走廊里,和那些选择加入这里的人聊聊就知道。但在早期,这似乎是你们必须正面面对的东西。面对一整个行业的既有玩家、投资人和其他人都不相信你们,那是什么感受?这种经历又如何塑造了你们建设公司的方式?

Rob:我觉得,要相信自己能做出一款比以往所有AI芯片都更好的芯片,并且比历史上任何公司都更快地建立起这样一家公司,确实需要一定程度的“天真”。而我们正好有这种天真。

很多时候我们会问:为什么这不可能?然后不断追问。后来我们发现,很多人的答案其实都被过去的约束条件所限制,而这些约束在今天已经不再成立。

现实是,整个半导体和数据中心行业都是建立在“缓冲”之上的。我的意思是,从EDA工具、供电模块、电路板、芯片设计到标准单元,整个技术栈里的每个部分,都是为了通用目的而设计的。它们不仅服务于数据中心,也服务于物联网、边缘设备等各种场景。

但如果你非常明确地为一个特定用途设计系统,就可以大幅改变约束条件。

举个非常简单的例子,这也不是只有我们这么做。芯片时钟频率非常重要,因为它和系统吞吐量成正比。当你做不同timing的sign-off,也就是确定芯片流片后能够以什么时钟频率运行时,有一个概念叫“corners”,即芯片在什么温度下能以这个频率运行。

很多EDA工具的默认配置假设你的芯片会在接近冰点的温度下运行。但我不知道你们有没有见过AI数据中心里结冰,反正我没见过。所以我们可以相当确信,我们的芯片不需要在0摄氏度下全速运行。事实上,它们基本不会在80摄氏度以下运行。

仅仅知道这一约束并不重要,我们就可以在整个系统里做大量改变。这个例子很简单,但类似的地方还有很多:这里提升20%,那里提升50%,再在某处提升2倍。它们叠加起来,就会形成一个对推理极其有利、性能大幅提升的系统。

Gavin:我觉得你会遇到两类人。

一类人完全依赖经验法则。他们会说:年轻创始人,声称自己可以在性能上打败世界上最大的公司——这不可能。你说什么都无法改变我的看法。

但也有另一类人,他们当然也怀疑,但愿意说:我愿意花时间、做工作,看看这件事到底是否可能。

比如,我们最早的支持者之一是MarkRoss。Mark是一位非常知名的半导体专家,曾任Cypress Semiconductor CTO,后者以90亿美元出售。

我们见到他的时候,只是两个住在宿舍里的年轻人。我们对他说:我们想为AI推理打造硬件,我们认为可以比英伟达快很多。

Mark的反应是:不,你们做不到,这行不通。但如果你们想说服我,就写一份白皮书,做一个功能仿真,然后给我看。

于是经过很多个漫长的夜晚,我们回去找Mark,说:这是仿真结果,你怎么看?

他说:嗯,这确实能跑。

但他说,要做这样一家公司,你们需要大量资本。至少要300万美元才能启动。后来我们融到了500万美元,之后又融了更多钱。他再次感到惊讶,也越来越深入参与进来。后来他成了顾问、半职顾问,最终在看到越来越多开发进展后,成为我们的全职CTO。

总体而言,这种怀疑筛选出了那些真正追求真相的人。他们愿意说:我当然怀疑,但我愿意自己算一遍。如果我能弄明白这为什么可行,那我们就去做。

核心模式与技术路线:垂直整合与低电压推理

Patrick:你们在技术押注和系统搭建上的具体选择非常有意思。现在有很多公司都在尝试打造新芯片,以便在大规模推理中做得更好。因此,外界也非常关注不同公司在AI芯片上的研究路线和架构路线。

我想请你们先描述一下这个东西是什么、做什么。更重要的是,你们是如何决定下注哪些方向、发明哪些技术的?你们如何看待市场上其他公司的路线?

Gavin:可以从产品说起。我们并不只是做一颗芯片,而是在做一整套推理解决方案,也就是一个机架。这包括芯片、给芯片供电的系统、芯片所在的板卡、芯片之间通信的互联,以及这些大规模机架的生产。

实际上,生产本身就是产品。当我们思考如何获得优势时,推理有两个关键部分:prefill和decode。我们在这两个部分都有关键技术押注。prefill指的是读入大量文本;decode则是基于这些数据生成输出token。

运行prefill时,你的关键任务不是预测token,因为文本本身你已经知道了。你的任务是把模型的记忆,也就是我们所说的KV cache,调整到正确状态。然后你可以用同一个KV cache来运行decode。

所以我们经常会做一种叫PDdisaggregation的事情,也就是prefill-decode拆分。你会有一组服务器负责运行prefill,然后把模型记忆、也就是KV cache,传输到decode集群,再用这个集群生成下一个token。

Patrick:用非常简单的话说,这有点像先给枪上膛,然后再开枪。

Rob:没错。

Gavin:就是让模型记住正确的东西,然后再用这些东西去完成任务。

Rob:通常人们对这个市场的理解有点懒惰。他们会问:你是prefill芯片还是decode芯片?如果是decode芯片,你用HBM、SRAM还是3DDRAM?你用光互联还是铜互联?

我们刚开始做的时候,只是想理解为什么那么多聪明人在不同方向上努力。我们认真研究过很多架构,比如大量DDR内存和共享内存池,高级封装,突破封装边界;也研究过能否把存储die(裸片)放到计算die上方。

最后我们意识到:没有免费的午餐。每种选择都有代价。

比如3D DRAM,你会遇到散热问题、供应链问题、混合键合问题,还要处理浮点计算问题,而且你最终会变成一颗decode芯片。

所以我们把prefill和decode两侧都研究了一遍。最后我们发现,有几个设计空间几乎没人认真探索过,因为它们此前没有在AI芯片里这样做过。

我们问自己:真正重要的指标是什么?在prefill侧,最重要的是FLOPS和FLOPS密度。人们喜欢谈峰值FLOPS,但现实中你应该关心的是在真实工作负载下你真正能得到多少FLOPS。

这里有个概念叫MFU,即模型FLOPS利用率。也就是说,每一个宣传中的峰值FLOP,你实际能用到多少?在GPU上,根据工作负载不同,通常只能用到20%到50%。

而且你可以证明,它不可能达到100%,因为会遇到热问题。当FLOP利用率提高,更多晶体管不断开关,功耗上升,芯片会自我调节并降低时钟频率,以避免过热。

所以我们看推理时发现,如果我们想要更多FLOPS,想要更高吞吐量,就必须先解决热问题,再考虑往芯片里加FLOPS。否则如果今天只是给GPU或其他AI芯片增加FLOPS,实际并不会得到更多性能,因为它会热降频。

这背后的本质是DennardScaling,即电压和功耗之间存在平方关系。如果电压提高2倍,功耗会上升4倍;如果电压减半,功耗会降到四分之一。

于是我们问自己:如何让芯片运行在比GPU更低的电压下?

我们和很多人聊过。辍学后,我们飞到硅谷,问了很多半导体公司的人,他们是怎么做到的。

得到的答案是:做不到。你不可能在比GPU更低的电压下运行。

这个答案让人很不满意,因为许多其他行业的芯片都能在比GPU更低的电压下运行。比特币矿机的运行电压不到GPU的四分之一。所以这在物理上显然是可行的。

问题是:GPU架构中是否存在某些问题,让它不能在这种电压下运行?我们长时间研究这个问题后,创造了一种新的机制,可以在低得多的电压下运行。我们称之为低电压推理(lowvoltageinference)。我们认为,未来所有AI芯片都会变成低电压芯片。它们必须在相同硅面积里塞入更多FLOPS,同时又不发生热降频,因此必须以更低电压运行。

Gavin:这是prefill部分。

decode部分则完全是内存游戏。内存带宽越高,就能更快加载模型、更快加载KV cache,并为每个用户提供更多每秒token。我们认为人们在这里问错了问题。他们经常问:你芯片上的内存带宽是多少?

真正应该问的是:你整个scale-up集群上的内存带宽是多少?

我们做的是在芯片之间加入远高于传统方案的带宽,并大幅降低芯片间互联延迟。这样就能让模型以更高速度运行,因为你可以把整个scale-up集群里的SRAM和HBM当成一个统一内存池来使用。

这是我们的第二个关键技术押注,叫集群级内存(cluster-scalememory)。

今天GPU上的集群内存带宽通常利用很差,因为从一颗GPU跳到另一颗GPU的时间非常长。比如在Blackwell芯片上,点对点通信可能需要约4000纳秒。这意味着如果采用8路张量并行,你得到的每用户每秒token提升会远小于8倍。

我们构建了完全定制的互联栈。我们把第二层以太网以上的所有东西都做成了全定制。因此我们能实现远好于传统方案的延迟和带宽。我们可以把这个延迟降低5倍以上,从而更有效地使用其他芯片上的内存。随着world size扩大,每个token的时间会按比例下降。

Rob:这其实并不令人惊讶,因为这些架构都是ChatGPT之前设计出来的。如果我们要为现代工作负载打造芯片,它当然会非常不同。我们的FLOPS组织方式、电压域、供电平面、封装方式、板卡设计都会不同。在decode侧,所有东西的连接方式也会完全不同。

所以我们现在推出了第一代低电压推理技术,它运行在不到任何其他AI芯片一半的电压下。

Patrick:从更宏观的角度看,为什么这件事这么重要?为什么更高吞吐量、更低token成本、更好的每瓦token数这些指标会变得越来越重要?大家都知道供给侧现在是个大问题。放眼未来十年,为什么这会成为整个科技世界的瓶颈?

Rob:我认为核心在于生产力。

我们正处于文明史上一个极其有趣的时刻:真正的人工智能出现了,不是科幻意义上的,而是这些模型真的能解决大多数人类解决不了的问题。它会创造新的科学发现,提供即时医疗、即时教育。

现在问题变成:有多少人能同时使用它?有多少产品能同时服务这些能力?以及完成不同任务的速度有多快?

如果从真实时间,也就是wall clock time来看,一个智能体如果以某种模型质量运行,可能需要一年推理计算才能解决某个任务。如果decode速度更快,就可以把这一年压缩成一个月。科学创新和技术扩散都会快得多。

第二个问题是并发。

今天,不可能让10亿人同时使用这些模型。最终会出现一些人被降级,一些人的模型变慢,还有一些人根本拿不到硬件。几年后,会有巨大模型服务数十亿用户。

今天AI仍处于非常早期,全世界只有几百万用户在为AI模型付费。也就是说,真正使用这些东西的人口只占全球人口的千分之一左右。

如果你想要服务巨大规模,很多事情都会改变。其中之一是一起通信的芯片数量。

人们通常在训练语境下考虑这个问题,比如Colossus这类超过10万张GPU的训练集群。但在推理侧,人们现在通常还只想到8芯片集群,或者NVL72这样的scale-up域。

但很快,这会变成几千颗芯片、几万颗芯片。而要在这种规模下获得最高性能,芯片之间发送数据的时间这个基础指标,会比现在人们意识到的重要得多。

所以当我们优化系统内存带宽时,必须考虑芯片之间通信速度。如果它们只能和自己通信很快,而和其他芯片通信很慢,那就无法以每秒1万、2万token的速度服务巨型模型。

因此,我们需要整个栈从晶圆到瓦特、从晶体管到token,进行多个数量级的基础设施建设,才能真正把这些能力带给世界。

Gavin:如果看其他商品,比如iPhone,它们已经达到了规模经济。结果是,更多钱并不能买到更好的iPhone。无论你是亿万富翁还是普通美国人,买到的是同一部手机。

但token还不是这样。我们仍处在非常早期,一个通用系统、相对较小的系统,正在像文艺复兴时期手工制作螺丝那样“手工制作”token。

我想生活在一个世界里,token制造也能拥有和iPhone、汽车等商品一样的规模经济。

这是一个巨大的解锁点,可以让大量人使用最高质量模型。规模经济让资本主义在某种意义上变得公平,因为同一个产品可以进入很多人的手中。如果一个scale-up集群能服务更多用户,token服务也能接近这种状态。

Rob:有些产品如果慢,就根本不可用。比如你想服务编程模型,并希望人们真正使用它,就必须达到某个每秒token速度。

问题是,在维持这个每token速度的同时,我能同时服务多少用户?你基本上只能选择:要么让世界上一大群人无法使用,要么让所有人的体验都变差。

所以根本上,你需要想办法把这条曲线往外推。这就是为什么市场对新硬件有如此大的压力。

打造团队、执行力和「速度」打法

Patrick:作为两个年轻人,你们如何组建早期团队?现在有很多非常有才华的年轻创业者,他们也许可以从你们学到:年轻、缺乏经验、甚至有点天真时,如何吸引那些非常成熟、有才华、在伟大公司有完整职业生涯的人加入你们。

如果把这作为一门课,“年轻且缺乏经验时如何招募顶级人才”,课程大纲是什么?

Rob:我们有一种非常“双峰”的人才哲学。

首先是我们所说的“传奇人物”。当我们要解决极难技术问题,通常是前所未有的问题时,我们需要找到世界上最优秀的人。在很多情况下,世界第一和世界第十、第一百之间的差异,决定了问题是否真的能被解决。

我们创造了一个系统,叫基于项目的招聘。我们会梳理所有行业中曾经有人必须解决过的最难技术问题。我们会看时间维度:谁完成了0到1?谁名义上负责?谁真正做了工作?

我们尽可能和很多人交流,然后持续跟踪。你会惊讶地发现,第一次谈话后答应加入的人很少,但第二十次谈话后答应的人比例高的令人惊讶。

Gavin:你真的必须一直坚持。当一个世界上最优秀的人拒绝你时,通常真正意思是:等你证明更多里程碑后再回来。我认为最有说服力的事情之一是:我们提出大胆主张,然后一次又一次实现它们。这非常能激发信念。

Rob:当我们决定做机架而不只是芯片时,我们问自己:世界上有多少产品真正以我们想解决的功率密度做到了机架级规模交付?

我们想,如果挥动魔法棒,世界上最理想的人是什么样?

答案是:如果有一个人从英伟达开始,建立了整个机架团队,经历了多代产品,学到了所有东西,同时仍然足够scrappy,理解创业文化,并见过规模化,那就是最理想的人。

于是我们梳理了英伟达所有和机架级产品相关的团队,找到了三个可能符合条件的人。我们都聊了。其中两人刚退休,一人计划再为英伟达做一代产品后退休。他叫Brian。

随着时间推移,我们说服他加入。Brian创立了英伟达HGX和DGX团队,那是英伟达收入的大头,每季度数百亿美元。顺便说一句,另外两个人后来也投资了我们。

有这样的人,他知道什么是好,因为他见过好。很多次我们和Brian聊天,他会指着我们说:这是我学到的十亿美元教训,那也是十亿美元教训。这会为我们节省大量时间。

然后你把Brian这样的人和Sanford这样的人配在一起。

Patrick:你们有名字区分吗?Brian是“传奇人物”,那Sanford是什么?

Rob:肩上带着芯片的人,能把芯片送进数据中心。Sanford和Gavin高中时是机器人世界冠军。Sanford当时正在完成大学最后一年。几年前我们给他打电话说:来看看我们在做什么吧,我们在平台侧需要帮助。

他来了一周。我们说:你这周能做一个冷板吗?

如果你问任何热工程师这种问题,他们都会觉得你完全天真。这些东西通常需要几个月。确实如此。但如果你下定决心并认为它可能,一周也能取得真正进展。

他一周内做了一个装置,实际降低了我们一个关键功率问题的风险。

把这两类人放在一起,他们就能做出不可思议的事情。缺一不可。你需要那些极度有驱动力、不停问“为什么”、不知道坑在哪里、愿意激进冒险的人;也需要那些见过规模、同时仍有创业心态的人来帮助他们。

Patrick:所以是传奇人物加上一些天真、原始的一阶原理型人才。不只是公司里同时有这两类人,而是他们一起工作。

Rob:没错。

Patrick:Rob,我们最早谈话时,你提到Sohu,也就是你们第一个产品。你说可以详细谈它,但真正重要的是,你们关注的是打造一台机器,这台机器可以规模化、高效率、高质量地产出这些产品以及后续几代产品。也就是说,公司本身就是一台机器。

我想谈谈公司的一些原则或基石。你们已经提到了速度、垂直整合。这些话题现在越来越流行。并行化也值得谈。但我尤其感兴趣的是你们为了更快而承担巨大风险的意愿。

能讲一个最能体现这种哲学的故事吗?

Gavin:有很多故事。我最喜欢的一个是,我们快要流片时,突然意识到一个供应商严重落后进度。

我们有两个非常糟糕的选项,一个是继续用当前供应商,把时间线往后推大约一年。另一个是换供应商、从头开始,也会把时间线往后推一年。

这两个都不是好选项。所以我们必须寻找第三个选项。

我们发现真正做这项工作的团队都在班加罗尔。于是我们把十几个顶尖工程师派到班加罗尔,待了六个月。我本人也在那里住了四个半月。

每天早上,我们穿过班加罗尔拥挤的街道去办公室。我们是最早到的人。我们构建各种工具,审计大量代码,开发工具让进度更快,并确保现场马上做出正确设计决策。

不再有12小时来回沟通,而是当场决定。然后凌晨1点,我们再穿过空荡的班加罗尔街道回去,第二天继续。

Rob:与此同时,美国还有很多团队成员。我们做了两边各12小时交接,形成24小时开发循环。每天早上8点和晚上8点,我们都会上Zoom,共享所有数据,然后说:等我醒来时,这件事必须完成。我们必须把这颗芯片做出来。

那非常紧张。

同期,我们看到其他处在同一阶段、使用同一家供应商的芯片,最后花了多年时间,有些到今天还没出来,甚至还没流片。

正是这种极端紧迫感,才是把产品推向市场所必需的。

Patrick:做到这一点的关键是什么?这有点像马斯克擅长的事情:找到约束性瓶颈,然后亲自把资源灌进去,就像你们去班加罗尔一样。

Gavin:我认为有两个关键技巧。

第一,你不能独自造芯片。这必须是团队问题。你最重要的工作,是让优秀的人和你一起去,让他们受到鼓舞并愿意做这种疯狂的事情。要求大家把生活连根拔起,去六个月甚至十二个月,这很难。

第二,是必须非常快地做决定。最糟糕的情况之一,是工厂或供应商在等你做某个决定,因此停滞。即使很小的事情也会这样。

所以你要派人过去,给他们很大责任,然后说:做一个合理决定。偶尔错没关系。我宁愿你大多数时候立刻做出正确决定,也不愿每次都等完美答案。

速度会赢。

Patrick:那关于花钱换速度呢?硬件世界重新变得重要后,“边做边学”变得很有意思。过去美国把很多实践学习外包到海外,自己只当“想法提出者”。你们似乎在反转这一点,主动进入迭代学习循环。

Rob:有句很好的话:最大的风险是不冒风险。在这里也类似。这个品类每天有超过10亿美元收入,其中很大一部分是推理。所以我们每晚一天交付,就会错失大量机会。

如果你能看到清晰的投资回报,你花钱的意愿应该非常高。我们有个概念叫prefetching。当你在等某件事完成,同时知道完成后还要做很多其他事情时,有没有办法把整个计划并行化?

比如,我们知道芯片会在某个日期回来。我们希望所有不用等芯片也能做的事情,都在芯片到来前完成。

这会花很多钱。

这意味着我们要提前搭完整软件栈。我们曾把没有芯片的机架运到客户数据中心,里面配置好所有网络、CPU和存储,这样芯片回来前就能把数据中心软件跑起来。这意味着我们用了700多个FPGA,把完整reticle级芯片放到FPGA集群上,并在芯片回来前用完整推理栈跑了十几个模型。

这意味着我们做了热芯片模拟芯片热分布,并在芯片回来前基于它打造冷板。

这意味着生产线已经准备好,电路板做过多轮迭代。也就是说,在芯片回来前,整个产品基本准备好了。

结果是,有另一家非常著名的AI芯片公司,从硅片回来到账架上跑推理花了10个月,他们还对投资者公开宣布这是一个重大进展。

我们用了40天。

因为芯片回来时,一切都已经很“无聊”了。软件已经写好,机架已经在那里,生产线已经设置好。我们只需要不断推进,把所有东西组装起来。当然不可能抓住所有问题,需要现场调整,然后就继续往前走。

Gavin:那次白班夜班也起了很大作用。我们真的有人早上10点来、午夜走,也有人午夜来、早上10点走。为了40天这个目标,我们全天候运转。

Rob:超过一半公司员工住在办公室旁边,所以做这种事更容易。

AI硬件供应链与「垂直整合的边界」

Patrick:我想退一步聊聊更广泛的生态。供给侧短缺、全球供应链风险……都是WSJ头条。内存股票五年前还是无聊的Commodity股,现在成了全球关注中心。

你们身处其中,如何看待这个全球连接的供应链?什么让你害怕?什么运转良好?什么需要改变?

Gavin:供应链故事中最被低估的一点是,几乎没有东西是你买完就不用再和供应商说话的。你必须协作。这是芯片成功最重要的部分。无论是TSMC还是内存供应商,你都需要伙伴关系。

尤其是TSMC,人们不理解它为什么如此有价值。人们看到技术,当然它是世界最好的。但对我来说,真正价值在服务。TSMC的客户服务比我在任何其他行业见过的公司都好得多。比如你说,如果做这个改变,你们可以提高良率。你给他们建议,他们会做实验。在我们的案例中,他们甚至自己掏钱验证是否能提升良率。发现我们是对的、实验有效后,他们把整条线都改了。

这种事在大多数行业不会发生。你去钢厂说,我想改一下钢材成分,他们会让你滚。但TSMC不是这样。这就是为什么它是第一,也为什么它会赢。

Rob:另一个非常重要的东西是电力可获得性和接入电力的时间。问题是,你想要的电力越多,短缺越严重。

这和芯片集群很像。为什么Colossus能对Blackwell收每小时12美元?因为它是唯一能一次买到2万张的地方。为什么500兆瓦数据中心那么难找?原因完全一样。

我们需要思考:如何从每一兆瓦中挤出更多“汁”?人们会从整个栈寻找办法,包括改善PUE,也包括全新硬件,以获得每兆瓦最多token。

但从根本上讲,建新楼很难。从100兆瓦到1吉瓦,比从1吉瓦到10吉瓦、10吉瓦到100吉瓦容易得多。我们正在这些时间线上逼近可能性的极限。

所以很多人不仅在扩建数据中心,也在尽可能提高数据中心内部密度。

Patrick:一个系统有趣的地方在于它替代了什么。如果把你们的机架和Blackwell、Rubin等相比,我该如何理解?不仅是功耗,还有物理空间。

Rob:客户部署模型时通常是这样想的:我不是抽象地说我喜欢这些芯片、它们功耗是多少。而是我有一个真实生产工作负载要服务。为了让产品可用,我必须达到某个速度。不同产品需要速度不同,但这是我的速度。

问题是,在给定功率下,我能服务多少用户,同时保证这个速度?

换句话说,在同样交互性下,我的吞吐量是多少?

AI基础设施热潮的早期阶段,人们主要关心速度。GPU无法达到某些其他芯片,比如SRAM芯片那样数千token每秒的速度。这催生了很多新用例。

接下来会出现一整波新AI芯片,我们也是其中之一,它们都能达到这些速度。问题随之变成:在达到这些速度后,你能同时服务多少用户?

也就是,如果我有一个100兆瓦数据中心,我能同时跑多少软件智能体?

在这种评估下,我们的硬件通常能在同等交互性下提供一个数量级更高的并发。这直接转化为每瓦token、每美元token,以及服务大规模MoE模型时人们真正关心的指标。

Patrick:现在有一些著名的交互性曲线。比如Blackwell曲线、AMD曲线,后者稍差一点,但AMD仍是一家8000亿美元公司。如果你把这条曲线大幅向外推,而不是小幅改善,会带来什么最令你兴奋的东西?

Gavin:我想解决一些最难的问题,并且用短得多的时间解决。

成长过程中,有些东西我不确定自己有生之年能看到。例如单位距离猜想。大学时我们聊过这个问题,我不确定此生能看到它被证明。后来一个AI模型经过很长时间做到了。

如果同一个模型能快10倍运行,你就能缩短这些突破出现的时间。

数学中还有很多问题,我担心可能需要1000年才能证明。如果你能拥有更聪明的模型,或者同样智能但运行快很多的模型,就能压缩这个时间,而我就能亲眼看到。看到这些突破真的太酷了。我非常期待看到更多这样的事情发生。

Rob:人们经常把任务和应用想得太短期。聊天快50%当然不错,但不是改变游戏规则。

随着智能体时间跨度越来越长、模型能力越来越强,你会看到巨大的工作体量,可能需要数月计算。我们用真实时间来看。如果你和实验室的预训练研究员聊,他们会说真实时间通常是最重要的事情之一。真实时间指的是从开始运行到结束并拿到数据的时间。

如果你能把六个月的运行变成两个月实验,就能做更多迭代,人们也会调整模型架构以改善真实时间。

长程任务也是一样。超低延迟decode令人兴奋的地方在于,它能把长时间任务的真实时间显著缩短。一年的计算工作可能变成一个月,一个月变成三天,三天变成七小时,等等。

这件事很难真正内化,因为模型刚刚具备这种能力。几个月前Cursor发布说,一群编程智能体在一周内从零构建了一个完整浏览器,我觉得太酷了。很快这会在一小时内完成。未来会有大量这种大规模并行智能体共同完成任务的事情发生。

Patrick:这些系统的最终限制是什么?只是物理问题吗?理论上还能快多少、便宜多少?

Gavin:正如人们说的,底部还有大量空间。如果看英伟达产品的芯片间延迟,从一颗芯片到另一颗约4000纳秒。我们能做得好很多。

Rob:数学极限是什么?

Gavin:光速。你可以做到几个纳秒,比如两三纳秒。

Patrick:而今天是4000?

Gavin:今天是4000。所以空间很大。功效也是如此。我们通过大幅降低电压节省了大量能耗,但你还可以更低,低得多。这非常有挑战,但从20年、30年后看,我认为这是不可避免的。

规模经济也是一样。长期以来,8颗芯片是最大的scale-up域。英伟达后来推出NVL72,把它扩展到72。但你可以大得多。

看晶圆厂,一个400亿美元的单体建筑,里面只有少数几条产线。未来的超级集群也可能类似:400亿美元、1000亿美元的巨大token工厂,服务一个或少数几个模型,为海量用户提供服务,实现相同的规模经济。一个模型,服务海量人群。

Patrick:垂直整合的边界是什么?你如何知道线画在哪里?

更广泛的市场环境很有意思。绝大多数AI芯片由非常少数客户购买,而其中很多客户自己也在设计AI芯片。OpenAI宣布了Jalapeño。世界上最有价值的东西,似乎都流经少数芯片制造商和少数芯片买家,而他们似乎都在考虑做对方的工作。然后这些芯片进入数据中心,又有neocloud、推理服务商、模型构建者等其他环节。

我可以想象一个世界,因为你们拥有最好的硬件,所以你们也设计模型、建设数据中心,扩展到当前垂直范围之外。你们如何划定业务边界?

Rob:我们有句话:生产就是产品。最终真正重要的是:我们知道推理将成为世界最大市场。谁生产最多token,谁就会成为世界上最有价值的公司。

所以我们做的所有决定,都是围绕如何让尽可能多的token产能上线。

一部分是打造非常好的产品,拥有更高吞吐量、更低延迟,让每颗芯片贡献更多token产能。

另一部分是,除非绝对必要,否则不做某些栈中的部分。我们做了一些部分,是因为为了规模化必须做,比如不只是做芯片,而是做机架;比如采用CM模式,而不是JDM模式。

但也有一些部分目前对我们来说是噪音。我们今天不会自己建数据中心,因为这并不能帮助我们让更多产能上线。

事实上,我们的客户会为了把我们的芯片上线而创造电力、移动集群,因为我们的吞吐量太高。如果未来其他东西成为约束,我们当然会整合。但现实是,我们现在纯粹专注于让尽可能多token上线。

Gavin:这又回到规模经济。技术栈的某些部分存在巨大规模经济,另一些则没有。比如模型设计有巨大规模经济,芯片制造也是如此。但如果你考虑机架里的某个小金属零件,就没有那么大的规模经济。

我们认为自然边界是:底部到芯片侧,顶部到模型层。中间的全部空白我们会填满。

Rob:几周前,有个在一家前沿公司负责下一代AI芯片的人,试图挖走我们一位架构师。我们反手开始招募这个来挖人的人。一周内我们把他招来了。

当我们最终敲定offer时,我问他:你负责这么重要的项目,为什么决定加入?

他的回答很有意思:从根本上讲,这个产品赢不赢,对我原来的公司不是生死攸关。对Google来说,即使TPU失败,收入仍来自搜索。

Patrick:Google不会因为TPU失败而失败。

Rob:没错。Meta不会因为MTIA失败而失败。Microsoft不会因为Maia失败而失败。OpenAI不会因为Jalapeño失败而失败。但对我们来说,这就是我们的产品。世界上最好的芯片由一家只做这件事的公司做出来,这一点并不奇怪,那家公司就是英伟达。

对我们来说,让尽可能多token产能上线,是生死攸关的事情。这会吸引一种人才,也会吸引供应商和客户以和我们一样的强度来支持这件事。

融资挑战:在没有产品时融资1亿美元

Patrick:早期融资是公司历史中的一个艰难时刻。我知道你们起步时知道需要资本,但不知道最终会需要这么多钱。而且你们此前没有融过钱。

有一些时刻非常困难,我当时在场,也看到了。如果没有那笔钱,公司不会存在,可能已经死了。硬件不是软件,不是只需要一点钱。

你们能讲讲早期还没有产品可展示时,融资最难的部分吗?

Rob:我们经历过一些非常紧张的时刻。大概是2024年初,在A轮之前。那时我们已经做了足够多架构和设计,知道芯片架构是合理的。接下来要真正构建它,还有很多工作。我们准备进入物理设计阶段,需要和物理设计供应商签协议,这至少要花4000万到5000万美元。

与此同时,随着模型越来越大,巨型MoE模型出现,我们意识到:我们需要建整个集群,而不只是芯片。我们需要做板卡、互联、冷板、网络等所有东西,而这会比我们账上的1500万美元贵得多。

Gavin:那一刻很吓人。你会想:天哪,我们负担不起。我甚至开始想,回哈佛有多难?

Rob:2023年底,我们写了一份备忘录,花了100小时。因为我们完全不知道,当我们要求这么多钱时,人们怎么会相信我们。那份文件30页,非常技术化、非常深入,列出了我们需要构建的所有东西、必须达到的里程碑、市场如何演变、新用例、每token成本、各种模型。

然后我们去见投资人。硅谷每一家大型投资机构几乎都立刻拒绝。他们说:两个刚从哈佛出来的孩子,没有流片,没有测试芯片。推理是不是大市场谁知道?也许一切都会是训练。模型还会幻觉。这可能全是泡沫。

当时半导体公司A轮最大融资大约是4000万到5000万美元。我们算账后发现,如果真要做这件事,未来12个月可能要花1亿美元。如果我们真的想规模化并达到我们说的性能,这会极其资本密集。我们到底怎么做到?

Gavin:我们最开始想:最便宜的方法是什么?我们工资几乎没有,如果我只吃泡面,那么基本上只需要掩膜和4纳米流片的钱。

那样大概3000万美元就能做,一个低到离谱的数字。我们后来找到一个债务提供方,愿意借给我们跨过芯片门槛所需的钱。从那里开始,它催化了一系列其他事情:也许我们还能再多做一件事,再一件,再一件。

Rob:我们当时意识到,如果真想建立这家公司,我们不能半吊子做。不能做一个测试芯片,花几年时间,让整个AI市场爆发时我们还在测试。

如果要做,就要全力以赴。我们需要找到办法拿到1亿美元。

我记得Gavin和我深夜坐在办公室,互相看着对方,说:这里能省50万美元吗?那里能省10万美元吗?我们能说服大家多久不拿工资?然后发现,数就是对不上。我们真的必须解决它。

接下来几周,我们进入生存模式。给每一个可能认识投资人的人打电话,说:我们需要1亿美元。如果做到,我们认为这可能成为有史以来最重要的公司之一。你认识愿意做激进押注、愿意相信我们的人吗?

雪球开始滚起来。这里100万美元,那里200万美元。你会想:好,我们这个月不会没钱了。然后有人投500万美元、1000万美元,你会想:也许我可以买那些FPGA了。最后雪球滚成了。我们开董事会,拿出表格,上面是1.03亿美元。它们都是软承诺。我们互相看着,说:我们接受。这就是A轮。

从那以后容易很多。我们后来又融了将近半打轮次,很多投资人不断加码。这让我们能如此快速进入市场。如果没有当初那么激进,这个机架不可能出现。

Gavin:我们的供应商也值得称赞。

TSMC在我们还没有融到那1亿美元、局面非常可怕时,就愿意和我们合作。Synopsys也以非常优惠的条件让我们使用他们的仿真器,允许多年付款,基本上相当于一笔大贷款。你需要合作伙伴极大的信任才能做到这些。而最终,你会形成一个非常强大的团队,支持你的人也不仅仅是出于财务激励。他们相信。

Patrick:你觉得TSMC为什么相信你们?

Gavin:这是个很棒的故事。

甚至在你加入之前,有一个半导体的会议。我是半导体行业少数年轻CEO之一,可能比较新奇,所以他们邀请我发言。我到会场时,是唯一一个40岁以下演讲者,也是唯一一个30岁以下的人。当时我22岁。

演讲后有个晚宴。非常幸运,我坐在一位TSMC非常资深的副总裁旁边。那是很高级的晚宴,有Arm前CEO在场,大家都穿西装。我和这位副总裁聊起来,发现我们大学都学数学。于是我们拿了一张小纸片,开始非常详细地讨论现代AI模型如何在逐tensor层面工作。

他真的理解了。我们开始谈如何高效运行这些东西,为什么低电压是让它运转的关键技术。

第二天,我收到TSMC的邮件:“Gavin,我想和Etched合作。想办法做成这件事。”从那以后,他们一直是非常棒的伙伴。

Patrick:投资中大家都喜欢说“逆势而正确”能赚最多钱。听起来很好,但“逆势”意味着其他人都觉得你很蠢。当你从几乎所有人那里立即得到“不”的时候,那是一个很有意思的位置。

Rob:你当时是什么感受?我很好奇。

Patrick:当时那是我写过的最大首笔支票,而且大很多。说实话,那时候我不是数学专家,也不是半导体专家,甚至不是AI专家。

更多是因为我相信这个市场可能会巨大;你们对未来的样子做出了非常清晰的押注,并用非常硬核的方式定位公司去进攻这些方向。还有就是你们两个人本身——我对你们的感觉,是我们在2023年下注的主要原因。

专家们告诉我这很愚蠢。他们用非常逻辑化的方式解释为什么这不会成功,为什么这是一个低概率赌注。

我从中学到的一点是,有时你必须无视基准概率。如果只按基准概率投资,那你应该去做别的事。

Gavin:总有指数基金。

Patrick:没错,总有指数基金。

Rob:有趣的是,很多传统半导体基金错过了整个AI芯片机会;很多编程专家也错过了所有编程公司。很难意识到约束条件已经改变。当你看了20年流片,见过很多芯片第一次、第二次、第三次都不行,甚至跑不了负载时,你会忘记EDA工具已经好得多,FPGA今天的存在方式也和过去不同。今天能做的各种验证,过去都不可能。

我们的支持者大致来自两边:一边是相信市场和团队的人;另一边是今天就在做芯片、极其技术化的人,比如高频交易公司。他们会审计我们的微架构、RTL、板卡设计、时间表、软件栈,问的问题非常详细,我们有时甚至怀疑他们是不是也要自己造芯片。

如果你处在中间地带,就很难理解这件事。

模型和硬件的关系,如何看待token经济的未来

Patrick:经历了过去几年,你们获得了很多know-how。展望第二代、第三代产品,你们会因为第一代学到的东西而做出哪些不同?

Rob:我们花了一段时间才找到真正决定推理规模化的原语。早期我们尝试过很多东西:把不同模型编译进FPGA的编译器,把权重烧进硅片,把HBM拆成KV cache和权重,等等。

经过很多学习周期后,我们意识到,如果你想运行世界上大多数token,就需要做三件事:

第一,在给定功率预算下,打造FLOPS最多的芯片。第二,打造与其他芯片之间延迟最低的芯片,从而实现最大的scale-up域。第三,尽可能多地生产它。

我们旅程前半段学到了前两点,这塑造了设计,也塑造了我们未来押注,比如低电压推理和集群级内存。但生产这一部分,在过去一年里变得极其明显:如果你今天能提供,人们非常想部署这些东西。

最好的稳定性就是可用性。如果我今天有1000颗芯片,就一定有人会用。

我们不仅需要打造比以往好得多的芯片,还需要它能以多吉瓦规模供应。极限情况下,我们需要打造一种每月能生产吉瓦级规模的产品。

因此,我们下一代产品的很多设计决策都围绕简单化。去掉大量零件,反复装配和拆卸,学习如何让生产周期尽可能短,确保可靠、可维护,并且能够以巨大规模生产。

Patrick:我们还没怎么谈模型本身。你们作为硬件思考者,如何看模型发展?硬件又会如何影响未来模型?

Gavin:我们相信一个非常重要的观点:机器不像人那样思考。比如飞机不像鸟那样飞。机械设备的工作方式往往非常不同。对人类来说,存储数据和加载记忆对神经元来说很便宜,做数学相对昂贵。但芯片正好相反:加载数据通常很昂贵,做数学很便宜。

随着时间推移,数学会比内存更快变便宜,因为DRAM设备存在基本限制。

所以你应该思考:如何让模型使用巨大量的计算?比如同时运行很多副本?激活大量专家?拥有可以跨多个服务器机架运行的巨大专家?

我认为这会构成下一代智能模型。

上下文方面也一样。很多工作关注高效推理,比如不把完整上下文加载进内存。多数时候这有意义。但如果你想构建超级智能,为什么它不能看10亿token上下文?为什么不能花大量计算非常快地读完?

我希望能和一台在短期记忆里关注每一本书的机器对话。我认为芯片会发展到能做到这一点。

Rob:当前模型中的一个主题是动态性。即在每token或每用户层面控制注意力中消耗的计算和内存,以及芯片在运行时动态把数据发送到其他芯片,以服务不同MoE模型中的某些操作。

原因是,随着上下文长度、模型规模、每用户计算量扩大,我们都在寻找提高效率的方法。

MoE就是一个例子:不是每个token都需要使用每个参数。也许某个token只需要来自另一个token的上下文,它们可以共享内存,减少内存开销。也许某个token非常重要,就应该花更多计算、使用更长上下文。

能够加速这些动态计算的硬件非常重要。而当前硬件是在这些架构出现前设计的,所以在处理它们时有很多额外开销。

Patrick:当推理变得更便宜、更快、更容易获得、总供给更多且更好时,人们会用这些能力做什么?

Gavin:Noam Brown有条很火的推文,说随着模型时间跨度越来越长,它们可以做需要六个月的任务。但通常没足够时间评估这么久,因为到那时你可能已经有新模型想评估。用我们构建的集群级内存技术,这种六个月任务可以快得多运行。

但还有第二部分:不只是时间,也是多少人或智能体在一起工作。如果你问一个人能不能造火箭,答案是否定的。没有一个人能造火箭,你需要组建团队。我相信智能体也是一样。如果你想问一个智能体能否构建某种疯狂未来软件,可能需要一个非常大的团队。也许是10个,也许是一百万个。

你需要巨大集群级内存,以实现非常短的每token时间;也需要大量FLOPS,来运行整个智能体群体。

Rob:我会说得未来主义一点。我坚定认为,我们正在走向一个全球进程:推理将成为全球GDP的大部分。可能需要超过10年,但会发生。今天我们用人均GDP衡量社会生产力,但未来可能更像是每兆瓦智能体数量,或者到那时是每吉瓦智能体数量。

再未来主义一点,我认为这是人类占劳动力多数的倒数第二年。到2027年,你会看到从事知识工作的智能体数量超过人类。这会非常有趣。

你可以想象一个世界:对国家来说,大多数能源最终进入数据中心做推理,而数据中心能效基本决定了它拥有多少智能体,也就是劳动力规模有多大。

如果一个国家能拥有10亿个并发智能体,像10亿劳动力一样全天候共同工作,会发生什么?这几乎无法想象。这将是人类历史上最大规模的技术扩散。

Gavin:当需求巨大时,又会出现规模经济。

想想人脑。我有一个大脑,但不会同时使用全部大脑,健康大脑就是部分激活。MoE模型也类似。任意token在任意时刻只使用一小部分参数。

但如果一块硬件上有大量用户,你可以把这个“大脑”切成许多专家,分布在许多服务器上,然后让巨大流量穿过它。很多流量会在某一时刻使用大脑的不同部分。这样每次思考、每个token的成本会大幅下降。

所以我认为最终会出现这些巨型分布式大脑。它们的形态是一个大数据中心,里面有大量芯片、巨大FLOPS和巨大scale-up互联。

Patrick:你认为我们会看到一个价值万亿美元的单体数据中心吗?

Gavin:当然。只是时间问题。这就像问会不会看到10亿美元晶圆厂、100亿美元晶圆厂、1000亿美元晶圆厂一样。规模经济不会在400亿美元这个数字上突然停止。你花的钱越多,每片晶圆成本就会继续下降。制造token的工厂也会如此。

Patrick:如果一个非常聪明的外星人降落地球,问你们如何描述你们正在抓住的机会,你们会怎么说?

Gavin:我会说:思考非常有价值。世界上每家公司都依靠思考运转。我们正处在一个非常独特的时刻:机器已经能够几乎像最优秀人类一样思考,很快会一样好,然后更好。构建这些机器会是巨大机会。

更重要的是,当需求越来越高时,运行这种思考的方式会非常不同。现在有一个独特时刻,可以为未来万亿参数模型、为十亿人同时使用、在巨大scale-up集群上运行,构建一整套新解决方案和新路线图。

Rob:我们正处于一个智能新时代。生产智能的成本远低于智能本身的价值,因此我们会经历多年、甚至几十年的token供给短缺。基本上,任何能生产token的芯片或系统都可能非常有价值。你应该找到token供应链中的某一部分——从模型训练到我们正在做的硅片和系统——投入时间并推动前沿。

最大公司最终将是那些生产全球大部分token供应、并控制token供应链大部分环节的公司。

Gavin:重要的是,要构建那种随着芯片越堆越多,成本反而下降的系统。理想扩展方式不是:我要服务10倍token,就买10倍服务器。而应该是:我要服务10倍token,通过集群级内存等技术获得规模经济,不需要为同样token付出10倍成本。

注:文/主编24小时在线,文章来源:明亮公司(公众号ID:suchbright ),本文为作者独立观点,不代表亿邦动力立场。

文章来源:明亮公司

广告
微信
朋友圈

FAQ回顾

Etched是一家什么公司?

Etched是2022年成立的AI推理芯片创业公司,总部位于美国加州圣何塞,定位为英伟达AI芯片的重要挑战者。其主打面向前沿大模型的完整推理集群系统,首款芯片已在台积电N4P制程上流片成功,累计融资8亿美元,投后估值50亿美元,已获超10亿美元客户合同。

AI推理基础设施的核心瓶颈有哪些?

AI推理核心瓶颈分为两部分:Prefill阶段有效算力不足,GPU受限于热降频问题,模型FLOPS利用率仅20%到50%;Decode阶段数据移动效率低,当前GPU芯片间通信延迟高达4000纳秒,集群内存带宽利用率差,难以支撑高并发大模型推理需求。

Etched的垂直整合发展模式有什么优势?

Etched采用高度垂直整合路线,覆盖芯片、定制机架、互联、软件、测试和生产全环节,可针对性优化推理系统的功耗、延迟和吞吐量,同等交互性下可提供一个数量级更高的并发能力,还将产品从硅片回来到跑通推理的周期从行业平均10个月压缩到40天。

未来AI推理基础设施行业的发展趋势是什么?

未来AI推理市场规模将超过训练市场,核心竞争指标转向低成本、高效率的token产能,低电压推理、集群级内存架构将成为主流技术方向,产业将向高度垂直整合、吉瓦级超大规模token工厂的方向发展,最终推理产能会成为核心竞争力。

这么好看,分享一下?

朋友圈 分享

APP内打开

赞 +1
+1
微信好友 朋友圈 新浪微博 QQ空间
关闭
收藏成功
发送
/140 0