Tagihan Reproduksibilitas: 918 Paper AI Memetakan Biaya Artefak yang Hilang
Studi terhadap 918 paper memetakan biaya mereproduksi riset AI. Gunakan temuannya untuk menganggarkan kode, data, komputasi, dan waktu reviewer.
Kategori
Riset
5artikeldalam kategori ini.
WorldCup Arena Menghindari Kebocoran, tetapi Papan Peringkatnya Bukan Putusan
WorldCup Arena menguji prediksi LLM sebelum hasil pertandingan ada, tetapi metode penskoran mengubah peringkat dan arsip publik tidak mencakup setiap pemanggilan model asli.
ASI-Bench Menemukan Agent AI Kesulitan Tanpa Prosedur Riset
ASI-Bench menguji agent ilmiah ketika panduan manusia dihilangkan. Penurunan skor terbesarnya mengungkap masalah membangun prosedur, bukan bukti tentang superintelligence.
Mengapa Google DeepMind Menguji Agent AI di EVE Online Offline
DeepMind memulai riset agent EVE secara offline. Inilah alasan dunia persisten membutuhkan pengujian berbeda untuk memori, perencanaan, pemulihan, dan keselamatan.
Hasil AVO NVIDIA 100% ARC-AGI-3 Mengukur Harness, Bukan Model
AVO NVIDIA berhasil melewati set publik ARC-AGI-3, tetapi benchmark tersebut tidak mengisolasi kontribusi harness atau menguji generalisasi pada tugas privat.