可复现性账单：918 篇 AI 论文揭示缺失产物的成本
一项涵盖 918 篇论文的研究绘制了复现 AI 研究的成本。用其发现为代码、数据、算力和审阅者时间编制预算。
标签
#reproducibility
2篇文章使用此标签.
WorldCup Arena 避免了泄漏，但其排行榜不是裁决
WorldCup Arena 在比赛结果产生前测试 LLM 预测，但评分方式会改变排名，公开档案也不包含每一次原始模型调用。
标签
2篇文章使用此标签.
一项涵盖 918 篇论文的研究绘制了复现 AI 研究的成本。用其发现为代码、数据、算力和审阅者时间编制预算。
WorldCup Arena 在比赛结果产生前测试 LLM 预测，但评分方式会改变排名，公开档案也不包含每一次原始模型调用。