OpenAI 的 Jalapeño 芯片基准：这些数字实际上说明了什么
OpenAI 的 Jalapeño 推理芯片在其发布的测试中领先，但延迟、功耗标准化、可用性和工作负载匹配度限制了采购结论。
OpenAI 首次发布的 Jalapeño 推理芯片结果显示，这是一个真实的系统成就，而不是采购结论。在使用公开的 SemiAnalysis InferenceX 框架进行的公司测试中，与选定用于比较的 NVIDIA Blackwell 系统相比，Jalapeño 在每千瓦吞吐量和响应延迟的组合上表现更好。
标题中的比例很可观。OpenAI 报告，在 GPT-OSS 120B、DeepSeek R1 670B 和 Kimi K2.5 1T 上，峰值吞吐量下每瓦 AI 工作量提高 1.5 到 1.9 倍，端到端延迟降低 1.7 到 3.6 倍。这些结果支持这样一项主张：OpenAI 拥有可运行的第一代芯片，以及具有竞争力的服务架构。
但它们没有确立更低的客户价格、更低的数据中心能耗，也没有构成其他公司更换加速器阵列的理由。图表覆盖指定模型、序列长度、精度、软件配置和封装功耗额定值。Jalapeño 尚未销售，OpenAI 预计 2026 年底只进行小规模初始部署。
Jalapeño 同时改善了服务权衡的两端
推理服务很少会把某一个数字最大化。增加并发请求可以提高总 token 吞吐量，但每个用户可能需要更长时间等待。减少批处理可以让单个流感觉更快，却会让昂贵的硬件利用不足。因此，有用的比较应当是一条曲线：在每个可接受的延迟下，系统能够完成多少聚合工作？
OpenAI 使用了三个固定序列的 InferenceX 工作负载。发布的附录将它们标记为名义上的 8K 输入/1K 输出测试，并报告了多个运行点的结果，而不是某个精心挑选的并发水平。GPT-OSS 120B 与 GB200 比较；DeepSeek R1 和 Kimi K2.5 与 GB300 比较。DeepSeek 和 Kimi 测试使用了 MXFP4，这是一种紧凑的 4 位浮点格式。
在峰值吞吐量下，OpenAI 报告了以下比例：
| 测试模型 | 比较系统 | Jalapeño 每千瓦峰值吞吐量 | Jalapeño 端到端延迟 |
|---|---|---|---|
| GPT-OSS 120B | NVIDIA GB200 | 1.9× 更高 | 1.7× 更低 |
| DeepSeek R1 670B | NVIDIA GB300 | 1.7× 更高 | 3.6× 更低 |
| Kimi K2.5 1T | NVIDIA GB300 | 1.5× 更高 | 3.4× 更低 |
这些是 OpenAI 的测量结果，而不是独立复现。不过，这一框架比芯片原始峰值更有信息量。InferenceX 定义，交互性是每位用户的流式 token 速率，端到端标准化交互性则是输出 token 数除以完整请求延迟，包括首个 token 的时间。其发布的方法还改变序列长度、并发、模型、精度、框架和硬件——这些都是让推理数字可解释所需的条件。
这一结果之所以重要，是因为三个模型给系统施加了不同形态的压力。GPT-OSS 120B 比另外两个模型小；DeepSeek R1 和万亿参数的 Kimi 模型则需要把工作分布到许多加速器上。Hot Chips 演示的报道称，在相关比较中，OpenAI 使用单 token 预测测试 Jalapeño，而 NVIDIA 基线使用多 token 预测；OpenAI 还展示了针对 DeepSeek 的更窄直接比较。这些配置细节应当与比例放在一起解读。
每千瓦吞吐量不是电费账单
OpenAI 使用每种加速器发布的封装热设计功耗，即 TDP，来标准化图表：Jalapeño 为 700 瓦，GB200 为 1,200 瓦，GB300 为 1,400 瓦。TDP 是用于功耗和散热规划的设计额定值，并不是完整服务在一次运行中实际消耗的能源。
OpenAI 表示，在测试工作负载中，Jalapeño 保持在 550 瓦或以下。Data Center Dynamics 独立报道，Hot Chips 演示同时给出了 700 瓦额定值和这一测量上限。但比较使用的是发布的 700 瓦额定值，而不是较低的实测功耗。这对 Jalapeño 的封装级比较来说是保守的，但仍然把一些账单排除在分母之外：
- 主机 CPU、内存、交换机、存储和电源转换；
- 冷却和其他设施开销；
- 请求量低于基准负载时的空闲功耗；
- 失败或重试的请求、模型加载和缓存移动；以及
- 产生一个被接受的任务结果所需的能源和时间。
这种区分有两面性。封装 TDP 比较避免了让一个加速器因有利的瞬时读数获益、同时对另一个使用额定值。它也不能支持关于每 token 实测焦耳数或设施总功耗的主张。InferenceX 文档将这些视为独立指标，并在运行提供必要遥测时同时提供每 token 焦耳数和自定义功耗计算。
采购数字通常是总拥有成本，而不是每封装瓦特对应的 token 数。硬件价格、网络、内存、机架密度、预留容量、利用率、软件人力、停机时间和融资成本，可能超过直接电力差异。OpenAI 没有发布足够的这些输入来计算面向客户的成本优势；由于 Jalapeño 计划用于 OpenAI 自己的基础设施，该芯片也没有价格。
架构解释了方向，但不是每一个比例
大型语言模型服务至少包含两个不同的硬件阶段。在**预填充（prefill）阶段，系统处理提示并进行大量并行计算。在解码（decode）**阶段，系统逐步生成 token，并反复读取模型权重和键值缓存，即此前 token 的注意力状态。解码通常受内存带宽和数据移动约束，而不只是算术能力约束。
OpenAI 表示，Jalapeño 围绕这些阶段共同设计了计算、高带宽内存、网络、内核和机架级软件。模型状态可以保持在本地，同时系统改变活跃资源，从而减少分别专用的资源池之间的传输。Hot Chips 演示描述了连接 128 个加速器的低延迟本地网络，以及覆盖 2,048 颗芯片的更大域。
这一机制让基准的方向变得可信：减少等待模型状态的时间，可以改善响应延迟，并让更多功耗预算用于有用工作。但它没有隔离每项提升由哪一项特性产生。公开资料没有消融实验，能够在固定工作负载的同时分别移除 Jalapeño 的本地内存布局、网络拓扑、编译器优化或模型专用内核。
OpenAI 还表示，每个模型家族都需要新的内核和优化工作。这对加速器软件来说很正常，但意味着“支持三个模型”只是跨这些移植版本的可移植性证据，并不能证明每种架构都会达到同样的前沿水平。最有力的后续工作，是发布 Jalapeño 测试点的确切基准配方和原始功耗轨迹，并在硬件可用时让独立运营者重复运行。
四个问题将图表变成部署决策
评估任何推理平台（不只是 Jalapeño）的团队，都可以记录四层证据来保持基准诚实。
| 决策层 | 最低记录要求 | 标题比例为何不够 |
|---|---|---|
| 工作负载 | 确切的模型修订版、精度、输入/输出长度、提示混合、并发、批处理和推测解码策略 | 前沿模型代理与简短聊天机器人响应会给不同瓶颈施加压力。 |
| 用户体验 | 正常和突发负载下的首 token 时间、token 间时间、端到端延迟，以及 p50/p95/p99 值 | 平均值可能隐藏决定服务是否感觉可靠的慢请求。 |
| 容量与能源 | 每秒接受的 token 或任务、实测加速器和系统功耗、空闲功耗、利用率以及每个接受任务的焦耳数 | 封装 TDP 无法显示机架能源或失败工作的成本。 |
| 经济性与运营 | 购置或租赁成本、软件支持、正常运行时间、失败率、人力、部署容量和每个接受任务的成本 | 无法获得的快速系统，或需要大量移植的系统，不能满足今天的需求。 |
应绘制吞吐量与延迟的关系，而不是比较一个峰值。在服务实际遇到的上下文长度和并发水平下重复测试。测量尾延迟，因为代理的连续步骤会累积慢异常值。然后为被接受的输出计算能源和成本，而不是只计算生成的 token。
这也是较小部署需要采用的纪律。我们的 16GB GPU 上运行 Qwen3.8-27B 指南将权重容量、上下文内存、任务质量、吞吐量和总运营成本分开。规模不同，但错误相同：对硬件友好的基准可以正确回答自己的问题，却让买方的问题悬而未决。我们更广泛的 AI 评估说明展示了如何从决策开始，选择能够支持它的测量方法。
部署，而不是另一个比例，是下一项测试
OpenAI 与 Broadcom 宣布将在 2026 年底前进行初始部署。OpenAI 硬件负责人 Richard Ho 向 TechCrunch 给出了更严格的时间表：2026 年底的极小规模，随后在 2027 年进行更大规模部署。OpenAI 还表示，将继续部署 NVIDIA 和其他合作伙伴的加速器。
这让 Jalapeño 对 OpenAI 具有战略重要性，却不使其成为其他任何人的当前采购选项。下一个决定性证据是，该芯片能否在生产流量、变化中的模型、持续利用率、故障和日趋成熟的软件栈中保持延迟和效率优势。独立测量会加强这一论据；服务定价和可靠性则会显示硬件收益是否传递给客户。
目前，精确的结论已经很有用。Jalapeño 在 OpenAI 的测试条件下，为三个指定工作负载推进了公开的推理前沿。它尚未推进采购边界，因为可用性、全系统能源、运营可靠性和总成本仍未测量或未披露。
资料来源
- OpenAI's first Jalapeño benchmark results
- OpenAI and Broadcom Jalapeño announcement
- SemiAnalysis InferenceX benchmark methodology and metrics
- TechCrunch report on Jalapeño performance and deployment timing
- Data Center Dynamics report from the Hot Chips presentation
- ServeTheHome report from the Hot Chips presentation