Tagihan Reproduksibilitas: 918 Paper AI Memetakan Biaya Artefak yang Hilang
Studi terhadap 918 paper memetakan biaya mereproduksi riset AI. Gunakan temuannya untuk menganggarkan kode, data, komputasi, dan waktu reviewer.
Sebuah tinjauan terhadap 918 paper AI empiris menemukan bahwa 6,72% URL implementasi yang diberikan penulis kosong atau mengembalikan error. Ini adalah kegagalan paling awal yang mungkin terjadi dalam upaya reproduksi: sebelum siapa pun menyewa GPU, memperoleh data, atau memeriksa benchmark, jalur kode yang diiklankan sudah berakhir.
Studi yang diterbitkan di Patterns pada 27 Agustus mengubah friksi itu menjadi skor 1–10 di lima jenis dokumentasi yang hilang. “Biayanya” adalah estimasi tenaga kerja tambahan, bukan tagihan cloud, dan peneliti tidak mengeksekusi seluruh 918 paper. Hasilnya paling tepat dibaca sebagai peta utang dokumentasi.
Peta itu menjadi lebih praktis ketika ditempatkan di samping tantangan reproduksi agen ICML 2026, tempat logbook publik dinilai klaim demi klaim. Seorang peserta melaporkan menjalankan 147 paper melalui pipeline dengan banyak gerbang dalam 16 hari. Bersama-sama, kedua proyek itu menunjukkan dari mana anggaran reproduksi dimulai, pemeriksaan murah apa yang harus mendahului komputasi, dan kapan materi yang hilang seharusnya menghentikan upaya.
Lima jenis dokumentasi menciptakan tagihan pertama
Thijs Snelleman, Holger Hoos, dan Odd Erik Gundersen memulai dengan 1.061 paper yang diterbitkan pada 2022–2024 di AAAI, IJCAI, ICLR, ICML, NeurIPS, JAIR, dan JMLR. Mereka mengecualikan 143 paper teoretis dari analisis efektif, sehingga tersisa 918 studi empiris.
Setiap paper mendapat skor dalam lima dimensi:
- Implementasi: usaha yang diperlukan untuk membangun ulang metode ketika kode, pseudocode, desain, atau deskripsi praktis tidak lengkap.
- Data: usaha untuk mengambil data yang sama, mempertahankan substitusi yang sebanding, atau mendokumentasikan akuisisi baru.
- Konfigurasi: pekerjaan untuk mendapatkan kembali hyperparameter, pengaturan semantik, seed, dan anggaran saat pengaturan itu dipilih.
- Prosedur eksperimen: langkah yang hilang antara metode yang dapat dijalankan dan metrik, baseline, analisis, serta kesimpulan yang dilaporkan paper.
- Keahlian: pengetahuan khusus yang harus diperoleh peneliti independen karena dokumentasi tidak menyediakannya.
Studi ini sengaja menempatkan kebutuhan hardware di luar rubrik. Karena itu, model dapat mendapat skor dokumentasi yang baik tetapi tetap terlalu mahal untuk dilatih laboratorium kecil. Sebaliknya, eksperimen CPU yang murah dapat memiliki skor tinggi karena reproduksinya memerlukan tebakan. “Biaya rendah” berarti jalur melalui materi penulis lebih jelas, bukan eksekusinya murah.
Di seluruh sampel, 70,52% paper membuka implementasi untuk publik dan 94,01% menggunakan data publik. Hasil tautan rusak memiliki penyebut yang lebih sempit daripada angka utama 918 paper: 6,72% dari URL implementasi yang diberikan, bukan 6,72% paper, kosong atau error.
Perbandingan venue juga bersifat relatif. Penulis melaporkan bahwa paper dari tiga konferensi machine learning rata-rata 16,52% lebih murah direproduksi daripada paper dari konferensi AI umum dan 12,91% lebih murah daripada paper jurnal dalam sampel ini. Persentase itu membandingkan skor dokumentasi ordinal antarkelompok. Angka tersebut tidak dapat menetapkan harga reproduksi tertentu atau membuktikan hasilnya akan bertahan ketika dijalankan ulang.
Satu reviewer menanggung sebagian besar pengukuran
Review utama untuk setiap paper berasal dari penulis pertama studi. Empat belas relawan independen memberikan review kedua untuk 46 paper—5,01% dari 918 paper.
Kesepakatan dinilai sangat baik untuk implementasi, data, dan konfigurasi; baik untuk prosedur eksperimen; dan sedang untuk keahlian. Pola itu informatif: reviewer biasanya dapat memverifikasi apakah repositori atau tabel parameter ada, sedangkan estimasi pengetahuan domain yang harus diperoleh peneliti lain lebih bergantung pada penilaian.
Penulis studi menerbitkan data dan kode analisis mereka dalam catatan Zenodo berversi, sehingga pembaca dapat memeriksa rubrik dan perhitungannya. Arsip itu meningkatkan auditabilitas, tetapi sampel review kedua yang terbatas tetap membatasi seberapa percaya diri perbedaan kecil antarvenue dapat ditafsirkan.
Paper pemenang penghargaan tidak menerima biaya rata-rata yang lebih rendah daripada paper lain dari venue yang sama. Dengan kata lain, prestise bukan jalan pintas yang andal untuk melewati pemeriksaan artefak.
Kampanye ICML membayar dengan gerbang sebelum GPU
Tantangan ICML menyediakan unit bukti yang berbeda. Penyelenggaranya mengumpulkan logbook Space publik untuk paper konferensi 2026 dan menggunakan juri LLM untuk mengklasifikasikan klaim individual sebagai terverifikasi, terbantahkan, hanya didukung eksperimen “toy” berskala kecil, atau inkonklusif.
AI News mengunduh dataset vonis publik final pada 31 Agustus dan menghitung 6.885 catatan logbook Space yang dinilai, mencakup 2.176 ID paper OpenReview unik dan 35.908 vonis klaim. Banyak logbook dapat menargetkan paper yang sama, dan vonis LLM tidak setara dengan review manusia independen. Hitungan tersebut menetapkan skala operasional dan upaya berulang, bukan 6.885 hasil ilmiah yang terkonfirmasi.
Kisah Nate Mauer tentang satu kampanye dalam tantangan itu melaporkan 147 paper yang dinilai, 1.390 poin, dan 76 skor sempurna selama 16 hari. Pekerjaan itu berjalan pada satu workstation dengan GPU 20 GB, selain satu pekerjaan fine-tuning dengan GPU sewaan. Gelombang manual pertama berbiaya sekitar USD 52; Mauer melaporkan sekitar USD 2,69 untuk inferensi berbayar bermeter pada kampanye otomatis berikutnya.
Tagihan inferensi yang menarik perhatian itu tidak mencakup workstation, listrik, waktu engineering, dan pekerjaan training sewaan. Itu juga pembukuan internal dari retrospektif seorang peserta, bukan harga yang diaudit secara independen. Temuan yang dapat dipindahkan adalah urutan operasinya. Kampanye menjalankan gerbang murah sebelum panggilan model berbayar atau eksperimen panjang:
- Periksa repositori resmi dan tolak rilis yang kosong.
- Jalankan setiap workspace dua kali dan bandingkan output untuk mengungkap nondeterminisme.
- Simulasikan jendela baca juri agar bukti yang diperlukan tetap terlihat.
- Wajibkan setiap angka dalam prosa yang memuat klaim muncul dalam file hasil mentah.
- Belanjakan biaya eksekusi dan penjurian hanya setelah pemeriksaan tersebut lolos.
Urutan itu tidak memvalidasi perbandingan venue Patterns. Urutan itu menunjukkan bagaimana satu operator mengubah banyak dimensi dokumentasi studi menjadi kontrol intake.
| Sumber | Unit dan cakupan | “Biaya” atau hasil yang diukur | Penggunaan yang sah |
|---|---|---|---|
| Studi Patterns | 918 paper empiris dari tujuh venue, 2022–2024 | Beban dokumentasi ordinal dalam lima dimensi | Memperkirakan tenaga kerja tambahan akibat materi yang hilang; membandingkan kelompok dengan hati-hati |
| Dataset vonis ICML | 6.885 catatan logbook Space yang dinilai untuk 2.176 ID paper dalam snapshot yang diunduh | Vonis LLM atas 35.908 catatan klaim | Memeriksa throughput tantangan, upaya berulang, dan hasil tingkat klaim |
| Laporan kampanye Mauer | 147 paper yang dinilai oleh satu peserta selama 16 hari | Throughput pipeline, pengeluaran internal, kegagalan, dan desain gerbang | Mempelajari satu strategi operasi konkret; jangan menganggap tagihannya sebagai tarif pasar |
Susun anggaran sebelum membuka antrean mahal
Anggaran reproduksi nyata membutuhkan tenaga dokumentasi yang dapat dikurangi sekaligus sumber daya eksekusi yang tidak dapat dihindari. Lembar kerja di bawah sengaja kosong pada bagian tarif lokal. Harga cloud, gaji, biaya data, dan ketidakpastian yang dapat diterima terlalu beragam untuk diisi secara jujur oleh skor studi atau pengeluaran satu peserta tantangan.
| Pos anggaran | Bukti yang harus dicatat sebelum eksekusi | Estimasi | Lanjutkan ketika | Jeda atau hentikan ketika |
|---|---|---|---|---|
| Definisi klaim | Klaim tepat, tabel atau gambar, metrik, baseline, toleransi, dan skala yang diperlukan | Jam evaluator | Uji penerimaan sudah eksplisit | Klaim target atau aturan keputusan tidak dapat direkonstruksi |
| Akses artefak | Repositori kanonik, revisi immutable, checksum, bobot, dan status rilis | Jam triase + biaya akses | Artefak yang ditinjau teratasi dan dapat dipatok | Jalur resmi mati dan implementasi ulang di luar cakupan |
| Data dan izin | Versi dataset, split, lisensi, ketentuan akses, transformasi, dan kontrol data sensitif | Jam akuisisi + biaya | Tim dapat memperoleh dataset yang sah atau mempertahankan dataset sebanding | Izin belum jelas atau substitusi mengubah klaim |
| Lingkungan | OS, runtime, library, driver, container, seed, dan langkah instalasi | Jam engineering | Lingkungan bersih mencapai smoke test deterministik | Setup memerlukan patch tak terdokumentasi atau arkeologi dependensi tanpa batas |
| Konfigurasi | Hyperparameter, prosedur pencarian, seed, aturan berhenti, dan anggaran tuning asli | Jam pencarian + run kandidat | Pengaturan terbitan atau pencarian yang dideklarasikan sebelumnya dapat direproduksi | Keberhasilan bergantung pada tebakan konfigurasi tanpa protokol berplafon |
| Eksekusi | Kelas hardware, waktu dinding, jam GPU atau CPU, penyimpanan, egress, dan energi bila relevan | Jam sumber daya × tarif kini | Run yang diharapkan sesuai dengan batas yang disetujui | Skala minimum yang setia melampaui batas uang, waktu, atau hardware |
| Evaluasi dan review | Output mentah, rerun baseline, pemeriksaan statistik, label kegagalan, dan reviewer independen | Jam reviewer + rerun | Hasil dapat ditelusuri dari perintah ke kesimpulan | Evaluator tidak dapat memisahkan kegagalan artefak dari hasil klaim |
| Kontingensi | Siklus perbaikan maksimum, tenggat, plafon belanja, dan bukti yang diperlukan untuk percobaan lain | Cadangan eksplisit | Setiap retry menambah informasi diagnostik | Batas tercapai atau retry mengulang kegagalan tak terjelaskan yang sama |
Estimasi yang dihasilkan cukup sederhana untuk diaudit:
Total anggaran = biaya akses dan data + jam engineering × tarif loaded + jam komputasi × tarif hardware + penyimpanan dan egress + jam reviewer × tarif loaded + kontingensi.
Kolom terpenting adalah kondisi berhenti. Tanpanya, lingkungan yang rusak dapat menghabiskan alokasi komputasi, lisensi yang hilang dapat membuat pekerjaan yang selesai tidak berguna, dan perbaikan berulang dapat diam-diam mengubah “satu reproduksi” menjadi riset tanpa akhir.
Tautan mati mengakhiri akses, bukan klaim ilmiah
Misalkan repositori resmi sebuah paper mengembalikan 404. Hasil intake yang benar adalah artefak tidak tersedia di lokasi yang dikutip. Itu bukan “klaim terbantahkan”. Tim masih dapat mengimplementasikan ulang metode dari paper, mencari arsip yang dikelola penulis, atau menguji hipotesis yang lebih sempit, tetapi setiap pilihan mengubah jalur bukti dan anggaran.
Rerun yang gagal juga memerlukan klasifikasi. Penyebabnya mungkin code drift, dataset berubah, checkpoint tidak tersedia, training nondeterministik, evaluator tidak cocok, skala tidak memadai, atau ketidaksepakatan nyata dengan hasil yang dilaporkan. Hanya kemungkinan terakhir yang mendekati falsifikasi ilmiah, dan bahkan saat itu kondisi eksperimen serta uji statistik harus mendukungnya.
Di sinilah pekerjaan evaluasi terkait menjadi berguna. Skor benchmark bergantung pada pipeline yang menghasilkannya, sedangkan pemilihan model dimulai dari izin, artefak yang dapat dijalankan, dan revisi immutable (bahasa Indonesia). Reproduksi mewarisi kedua kewajiban tersebut, lalu menambahkan beban untuk mencocokkan klaim tim lain dengan cukup dekat agar kesimpulan yang sebanding dapat ditarik.
Tingkat kegagalan URL 6,72% dalam studi itu tampak kecil dibandingkan anggaran training, tetapi satu tautan resmi yang mati dapat membuat seluruh anggaran itu prematur. Audit berikutnya yang paling informatif bersifat longitudinal: kunjungi kembali repositori yang dikutip setelah satu tahun, catat revisi dan dataset mana yang masih terselesaikan, dan uji apakah venue dengan checklist mempertahankan jalur stabil dari klaim ke perintah ke hasil.