可复现性账单:918 篇 AI 论文揭示缺失产物的成本
一项涵盖 918 篇论文的研究绘制了复现 AI 研究的成本。用其发现为代码、数据、算力和审阅者时间编制预算。
分类
5篇文章属于此分类.
一项涵盖 918 篇论文的研究绘制了复现 AI 研究的成本。用其发现为代码、数据、算力和审阅者时间编制预算。
WorldCup Arena 在比赛结果产生前测试 LLM 预测,但评分方式会改变排名,公开档案也不包含每一次原始模型调用。
ASI-Bench 在人类指导逐步减少时测试科学代理。它最大的分数下降揭示了构建流程的问题,而不是关于超级智能的证据。
DeepMind 正在离线环境中启动 EVE 代理研究。以下是持久世界为何需要针对记忆、规划、恢复和安全的不同测试。
NVIDIA AVO 通过了 ARC-AGI-3 的公开集,但该基准没有隔离工具链的贡献,也没有在私有任务上测试泛化。