2026年9月13日：评估者、私有基准与托管式智能体

今天的发布让人看到，模型越来越不像完整的产品，而更像是必须被治理、测量和运营的组件。Anthropic 正邀请外部评估者进入实验室，私有代码基准正在那些公共排行榜看不到的工作上测试智能体，而 OpenAI 则把自己的智能体 harness 当作基础设施出售。连接这些动态的问题已不只是模型能做什么，而是谁控制围绕模型的证据、执行和恢复。

主要进展

1. Anthropic 邀请外部评估者永久进入实验室

Dario Amodei 的三阶段提案从 Anthropic 的一项立即承诺开始：选定的独立评估者将获得类似员工的访问权限，包括办公桌、门禁卡、笔记本电脑以及与研究人员直接联系的渠道，同时保留发表成果的能力。他还呼吁建立共享的行业安全标准、为协调这些标准而提供反垄断豁免，以及通过国际协议放缓前沿发展。据 AP 报道，OpenAI 的 Sam Altman 表示其公司会跟进评估者承诺，但两家实验室都尚未公布选拔规则、访问条款、删节权限或开始日期。因此，这份提案的重要性与其说在于证明监督有效，不如说在于它承诺把可验证性移入开发周期，并让这一承诺接受检验。Amodei 对能力和灾难的时间线仍是预测，而不是既定事实。

关注： 首批被点名的评估者、他们的发表权利、披露的利益冲突，以及报告是否会出现在部署决策之前而非之后。

来源： Amodei 的完整提案与 Anthropic 承诺、AP 的独立报道与 Altman 的回应、同日的从业者讨论

2. Real-SWE 将编码智能体评估带到公司防火墙之后

Specific 的 Real-SWE 基准用获得许可的私有代码库中的已完成工程工作，取代了公开 issue 仓库，任务涵盖计费、税务、迁移以及其他生产工作。首个版本只有 10 项任务，但每种模型与 harness 的组合都运行 8 次，共得到 640 次计分 rollout。报告中的领先者是使用 Claude Code 的 Fable 5.1，解决率为 38.8%；使用 Codex CLI 的 GPT-6 Astra 达到 33.8%，使用 Gemini CLI 的 Gemini 3.8 Flash 达到 31.2%。隐藏代码减少了明显的训练污染，也让工作更接近企业维护。与此同时，它限制了可复现性；每个模型搭配不同 harness，也阻止了干净的纯模型比较。真正有用的是基准设计，而不是来自 10 项任务样本的持久赢家。

关注： 更多捐赠的代码库、按任务划分的置信区间、使用共享 harness 的重复测试，以及闭源提供商是否保留私有评估数据的规则。

来源： Specific 的基准、分数与方法、发布日 Hacker News 的审视、LocalLLaMA 对隐私与可复现性的讨论

3. OpenAI 将智能体 harness 变成托管式控制平面

OpenAI 的 Agents API 以公测形式开放 Codex harness，可用于运行数小时或数天的会话，提供上下文管理、工具、多智能体编排和由 OpenAI 托管的沙箱。开发者也可以在自己的基础设施或合作伙伴的基础设施上运行工具。Vercel 的集成清楚展示了由此形成的分工：OpenAI 维护循环和会话状态，Vercel 运行应用与沙箱，并通过签名 webhook 和队列重新接续工作。这可以省去大量编排工作，但不会把工具权限、数据边界、恢复策略或供应商依赖外包出去。API 不额外收取单独的服务费；模型 token、工具和托管环境仍按正常方式产生费用。OpenAI 发布的指标是经过选择的客户证言，而不是独立基准。

关注： 长时间运行会话的公开可靠性数据、可恢复的失败、权限审计、端到端账单，以及等效自托管 harness 的比较。

来源： OpenAI 的 Agents API 架构与定价说明、Vercel 的实现模式、独立开发者讨论

更多信号

4. RubyGems 将已验证的垃圾包活动与不确定的 AI 归因分开

Ruby Central 表示，它已从一次五月活动中移除 500 多个恶意包，但无法确认研究人员关于 OpenAI 智能体发布这些包的说法，也无法确认获取 API key 的尝试是否成功。这些包的 RubyDoc 配置可能在构建文档时执行代码。实际的教训与归因无关：即使操作者身份未知，注册表也需要上传限流、构建隔离和异常响应。

来源： Ruby Central 已验证的发现与限定、Simon Willison 对证据的审查、高关注度的安全讨论

5. OpenAI 的 Habitat 让受限存储成为 AI 规模的特性

OpenAI 表示，Habitat 目前在约 40 个区域和 500 PB 的规模上处理每秒超过 7000 万个请求，采用刻意收窄的 NoSQL 接口，并将复杂查询卸载出去。一次由 Codex 协助、两名工程师完成的 Rust 重写如今承载 95% 的生产流量；供应商测量称，相比 Python，它的 CPU 效率提高 6 倍、内存效率提高 15 倍。这个架构很有启发性，但没有公开延迟分布、错误率或代码来支持独立比较。

来源： OpenAI 的 Habitat 架构与报告测量、对该重写的独立技术解读

6. AgentZip 针对智能体沙箱中重复的内存

AgentZip 根据共享模板和相邻沙箱压缩沙箱内存，然后在使用前预先恢复可能需要的页面。作者报告称，沙箱自有内存的压缩率为 8.7 倍，而 Linux 压缩为 2.1 倍；通过预取和在模型等待期间安排工作，将激进模式的减速从 3.1 倍降至 1.40 倍。这篇论文是未经同行评审、由作者自行运行的评估；独立实现必须检验这些收益能否在真实工作负载和故障下保持。

来源： AgentZip 论文与实验设置、将该结果置于本周系统研究中的独立综述

7. GPT-5.3-Codex-Spark 收到退休通知，却没有迁移路线图

Codex 产品负责人 Thibault Sottiaux 表示，GPT-5.3-Codex-Spark 将在“下周”（译文）退休，理由是使用量下降以及更好的模型。通知没有同时给出确切截止时间、受影响的界面或指定替代品，而且在审阅时，官方弃用页面还没有新增对应条目。固定使用 Spark 工作流的团队现在应先盘点这些工作流，但不应假定 API 和产品的可用性会同时结束。

来源： Sottiaux 直接发布的退休通知、Modelyard 带时间戳的公告记录、Codex 社区对迁移的担忧

接下来关注什么

持久的优势正从模型访问权转移到周围的操作系统：能够在发布前检查工作的评估者，类似真实仓库的私有测试，可以安全恢复的编排，以及暴露自身真实限制的基础设施。接下来的有用披露将让这些控制可审计——点名的审阅者、可复现的私有任务方法、失败与成本分布，以及足够精确到可以据此规划的迁移期限。

资料来源

1. Dario Amodei’s We Must Pace the Frontier essay
2. AP report on Anthropic’s evaluator commitment
3. Hacker News discussion of Amodei’s proposal
4. Specific’s Real-SWE benchmark and methodology
5. Hacker News discussion of Real-SWE
6. LocalLLaMA discussion of Real-SWE’s private tasks
7. OpenAI announcement of the Agents API public beta
8. Vercel’s Agents API deployment integration
9. Hacker News discussion of the Agents API
10. Ruby Central update on the May spam campaign
11. Simon Willison’s review of the RubyGems attribution
12. Hacker News discussion of the RubyGems investigation
13. OpenAI’s Habitat storage architecture report
14. Independent technical review of the Habitat rewrite
15. AgentZip paper on memory compression for agent sandboxes
16. Independent research roundup covering AgentZip
17. Codex product lead’s GPT-5.3-Codex-Spark retirement notice
18. Modelyard record of the Spark retirement notice
19. Codex community discussion of the Spark retirement