ASI-Bench 发现，没有研究流程时 AI 代理举步维艰
ASI-Bench 在人类指导逐步减少时测试科学代理。它最大的分数下降揭示了构建流程的问题，而不是关于超级智能的证据。
标签
#evaluations
4篇文章使用此标签.
NVIDIA AVO 的 100% ARC-AGI-3 结果测量的是工具链，而不是模型
NVIDIA AVO 通过了 ARC-AGI-3 的公开集，但该基准没有隔离工具链的贡献，也没有在私有任务上测试泛化。
HarnessRisk 说明为什么一个提示词注入演示无法衡量代理安全性
HarnessRisk 报告不同模型与代理 harness 组合之间存在广泛的安全差异，并发现配置阶段比其测试的其他生命周期阶段更脆弱。
为什么评估会塑造我们最终使用的 AI 产品
实践性地了解评估选择如何影响模型声明、产品决策，以及读者应当检查 AI 公告中的哪些内容。