ASI-Bench Menemukan Agent AI Kesulitan Tanpa Prosedur Riset
ASI-Bench menguji agent ilmiah ketika panduan manusia dihilangkan. Penurunan skor terbesarnya mengungkap masalah membangun prosedur, bukan bukti tentang superintelligence.
Agent AI kehilangan hampir separuh skor rata-ratanya ketika ASI-Bench menghapus prosedur riset terperinci yang ditulis manusia. Preprint baru ini menguji 18 konfigurasi model-dan-agent pada 60 proyek riset komputasional, dengan mengulangi setiap proyek memakai panduan metodologis yang semakin sedikit.
Hasil utama tersebut nyata dalam eksperimen penulis, tetapi interpretasi yang paling berguna mudah terlewat. Performa rata-rata turun dari 50,91 dengan prosedur lengkap menjadi 29,10 ketika agent hanya menerima nama metode. Menghapus nama itu pun menurunkan rata-rata 2,48 poin lagi, menjadi 26,62. Dalam pengujian ini, mengubah metode ilmiah yang disebutkan menjadi rangkaian kerja yang berfungsi merupakan hambatan yang lebih besar daripada memilih metodenya.
Ini merupakan bukti tentang benchmark eksekusi ilmiah yang terkontrol. Ini bukan bukti bahwa sistem menemukan sains baru, ramalan artificial superintelligence, atau ukuran produktivitas riset yang direproduksi secara independen.
Empat versi satu proyek memindahkan tanggung jawab ke agent
Makalah ASI-Bench dimulai dari proyek komputasional, bukan pertanyaan terisolasi. Ke-60 tugasnya mencakup 11 bidang, termasuk fisika, kimia, biologi, kedokteran dan biostatistika, robotika, serta teknik elektro. Setiap tugas memiliki data input, lingkungan yang dapat dieksekusi, artefak yang diwajibkan, dan kriteria penilaian.
Pilihan desain utamanya adalah mempertahankan elemen-elemen tersebut sambil mengubah hal yang diungkapkan prompt. Benchmark menyebut empat kondisi itu B1 hingga B4.
| Kondisi | Panduan manusia yang diberikan | Tanggung jawab yang tersisa bagi agent |
|---|---|---|
| B1 | Latar belakang ilmiah, metode, persamaan, dan prosedur lengkap | Mengimplementasikan dan menjalankan pendekatan yang ditentukan |
| B2 | Metode dan batasan terkait, tanpa prosedur | Mengubah metode yang disebutkan menjadi workflow yang dapat dieksekusi |
| B3 | Tujuan, data, batasan, dan output yang diwajibkan | Memilih metode, membangun workflow, dan memvalidasi output |
| B4 | B3 ditambah informasi yang faktual tetapi tidak relevan | Mengerjakan tugas B3 sambil mengabaikan gangguan |
Salah satu tugas representatif meminta agent menyimpulkan sistem dinamis nonlinear dari data ruang-dan-waktu yang diamati. B1 memberikan persamaan pengatur, formulasi numerik, dan prosedur solver. B2 menyebut kelas persamaan dan pendekatan numerik yang sesuai. B3 membiarkan sistem dan metode disimpulkan oleh agent. Tujuan ilmiah dan artefak yang diharapkan tidak berubah.
Desain yang dipadankan ini lebih informatif daripada membandingkan tugas “mudah” dan “sulit” yang tidak berhubungan. Perbedaan skor dapat dikaitkan dengan informasi yang sengaja dihilangkan, meskipun tetap mencerminkan pilihan setiap model, harness, prompt, runtime, dan grader dalam eksperimen.
Penulis melaporkan proses konstruksi yang luas: lebih dari 1.300 ide kandidat, lima putaran review, lebih dari 1.500 run sandbox, serta pemeriksaan konsistensi ilmiah, reproduktibilitas, kebocoran, jalan pintas yang tidak disengaja, dan perilaku scoring. Itu adalah kontrol pengembangan benchmark yang dilaporkan tim yang sama, bukan audit eksternal.
Celah terbesar muncul sebelum pemilihan metode
Tabel utama makalah ini menghitung rata-rata makro skor atas 60 tugas dan 18 konfigurasi agent-dan-model. Sebagian besar konfigurasi dijalankan tiga kali; satu hasil Claude Opus 5 hanya satu run. Evaluasi tidak menyertakan akses tool eksternal.
| Perubahan panduan | Rata-rata yang dilaporkan penulis | Perbedaan | Hal yang paling langsung diisolasi perbandingan |
|---|---|---|---|
| Prosedur lengkap (B1) | 50,91 | — | Eksekusi dengan resep yang ditentukan manusia |
| Hanya nama metode (B2) | 29,10 | −21,82 | Membangun prosedur yang hilang |
| Agent memilih metode (B3) | 26,62 | −2,48 dari B2 | Pemilihan metode setelah prosedur sudah tidak ada |
| B3 plus fakta tidak relevan (B4) | 26,99 | +0,36 dari B3 | Ketahanan terhadap gangguan benchmark ini |
Perbandingan 50,91 ke 26,62 adalah penurunan 24,29 poin, atau sekitar 48% dari rata-rata B1. Menyebut seluruh perbedaan itu sebagai “celah pemilihan metode” akan keliru. Sekitar sembilan per sepuluh kehilangan poin terjadi ketika prosedur lengkap menghilang tetapi metode yang dimaksud tetap tersedia.
Hasil biaya memperkuat pembacaan tersebut. Penulis melaporkan B1 menggunakan rata-rata 4,35 juta token dan 37,8 menit per tugas. B2 adalah kondisi paling mahal, dengan 6,91 juta token dan 49,7 menit. Nama metode dapat membatasi arah tanpa menyediakan detail yang cukup untuk mengimplementasikannya, sehingga agent harus merekonstruksi prosedur melalui pencarian dan retry.
B4 juga memerlukan kehati-hatian. Rata-rata keseluruhannya pada dasarnya tidak berubah dari B3, tetapi itu tidak membuktikan bahwa agent ilmiah umumnya kebal terhadap gangguan. Hal itu menunjukkan bahwa tambahan yang faktual dan tidak relevan terhadap tugas yang digunakan di sini tidak menurunkan skor agregat. Konteks tidak relevan lain, bukti yang menyesatkan, output tool, atau noise literatur memerlukan pengujian terpisah.
Hasilnya dimiliki bersama oleh model dan harness
ASI-Bench mengevaluasi konfigurasi, bukan language model tanpa harness. Harness mengendalikan file yang dilihat agent, perintah yang dapat dijalankan, cara mencatat progres, dan cara menangani timeout serta error. Makalah ini melaporkan skor berbeda untuk backbone model yang sama dalam harness berbeda, meskipun perbandingan itu tidak mengisolasi satu fitur harness.
Konfigurasi B3 terkuat yang dilaporkan adalah Codex dengan GPT-5.6 Sol pada pengaturan reasoning ultra, dengan skor 51,60. Itu satu-satunya konfigurasi yang dievaluasi dengan skor di atas 50 pada B3. Hasil ini dilaporkan penulis dan tidak membuktikan bahwa model tersebut secara independen menghasilkan pengetahuan ilmiah baru yang valid. Hasil ini menetapkan performa satu sistem yang dikonfigurasi terhadap scorer artefak benchmark.
Pemisahan ini penting untuk klaim procurement dan riset. Tim tidak dapat menyalin nama model dari leaderboard lalu mengasumsikan akan memperoleh hasil yang sama dengan prompt, kebijakan tool, strategi konteks, lingkungan eksekusi, atau budget yang berbeda. Analisis NVIDIA AVO kami (bahasa Indonesia) mencapai kesimpulan yang sama dari benchmark interaktif: batas sistem ikut berpindah bersama skor. Analisis HarnessRisk (bahasa Indonesia) menambahkan batas lain yang tidak diukur ASI-Bench—apakah agent riset yang kapabel dapat dibatasi dan dipulihkan ketika eksekusinya bermasalah.
Benchmark komputasional bukan laboratorium yang sedang bekerja
ASI-Bench memperluas evaluasi melampaui tanya jawab akademis. Agent-nya harus bekerja dalam banyak langkah, membuat artefak, mendiagnosis kegagalan, dan memenuhi pemeriksaan spesifik proyek. Repository resmi menerbitkan runner, dua dataset dengan seed tetap, infrastruktur tugas, dan jalur untuk mengirim hasil. Salah satu seed membuka referensi untuk scoring lokal; jalur resmi menggunakan referensi privat untuk seed yang lain.
Meski demikian, benchmark ini tetap merupakan lingkungan komputasional yang dirancang. Hasil utamanya tidak mencakup akses tool eksternal, tabelnya tidak melaporkan baseline manusia, dan makalahnya adalah preprint versi satu tertanggal 18 Agustus. Penulis membangun tugas, proses validasi, dan sistem scoring, lalu menjalankan konfigurasi yang dievaluasi. Belum ada tim independen yang mereproduksi transisi skor yang dilaporkan.
Otonomi ilmiah di luar lingkungan tersebut menambahkan persoalan yang tidak dicakup skor: memilih pertanyaan riset yang bernilai, menemukan bukti yang tidak lengkap atau bertentangan, menegosiasikan akses ke instrumen atau data, melakukan eksperimen fisik, mengenali batasan laboratorium yang tersirat, dan memutuskan apakah hasil yang tampak layak dipercaya.
Evaluasi lain membuat masalah cakupan terlihat. AstaBench mencakup lebih dari 2.400 masalah di berbagai tahap kerja ilmiah dan berpendapat bahwa akses tool, biaya, dan konfigurasi agent adalah confounder yang harus dikendalikan oleh evaluasi. Studi kasus independen menguji delapan framework riset open-source pada dua proyek komputasional nyata dan melaporkan pekerjaan setup serta debugging yang substansial, dengan sistem tersebut lebih berguna sebagai asisten yang diawasi daripada peneliti otonom. Tidak satu pun studi memvalidasi angka ASI-Bench. Bersama-sama, keduanya menunjukkan mengapa “agent ilmiah” bukan kategori tugas yang stabil.
Rerun independen membutuhkan lebih dari skor akhir
Kode publik membuat rerun serius memungkinkan, tetapi angka leaderboard saja tidak dapat mengungkap apakah peningkatan berasal dari model, harness, budget, paparan tugas, atau scorer. Paket bukti yang berguna seharusnya menyimpan:
- seed dataset yang tepat, revisi tugas dan referensi, akses pengembangan, serta tinjauan kontaminasi;
- endpoint model, revisi model, pengaturan reasoning, konfigurasi sampling, dan tanggal provider;
- revisi harness, prompt, tool, batas sandbox, kebijakan konteks, aturan retry, timeout, dan budget token;
- hasil B1 hingga B4 pada set tugas yang sama, dengan run berulang, run tidak valid, dispersi, dan kategori kegagalan tingkat tugas;
- artefak output mentah, versi scorer, trace penilaian, serta adjudikasi untuk hasil yang disengketakan atau parsial; dan
- baseline terpisah dari manusia atau yang dibantu ahli ketika klaim membandingkan sistem dengan praktik ilmiah, bukan agent lain.
Catatan itu akan memungkinkan tim eksternal menguji temuan paling penting dalam makalah: apakah penurunan tajam B1-ke-B2 bertahan dalam rerun yang dipin. Eksperimen lanjutan kemudian dapat mengubah satu batas pada satu waktu—misalnya menyediakan tool perencanaan terstruktur sambil mempertahankan model, tugas, prompt, dan budget—untuk mempelajari bagian mana dari konstruksi prosedur yang gagal.
Nama benchmark ini mengarah pada artificial superintelligence, tetapi kontribusinya yang paling kuat lebih praktis. ASI-Bench mengubah panduan metodologis manusia menjadi variabel eksperimental dan mengekspos celah besar antara menerima prosedur lengkap dan harus membangunnya sendiri. Rerun independen, bukti kegagalan tingkat tugas, dan perbandingan di luar proyek komputasional mandiri akan menentukan seberapa jauh hasil tersebut dapat diterapkan.