Hasil AVO NVIDIA 100% ARC-AGI-3 Mengukur Harness, Bukan Model
AVO NVIDIA berhasil melewati set publik ARC-AGI-3, tetapi benchmark tersebut tidak mengisolasi kontribusi harness atau menguji generalisasi pada tugas privat.
NVIDIA melaporkan bahwa sistem Agentic Variation Operators, atau AVO, dipasangkan dengan Claude Opus 5 untuk menyelesaikan seluruh 183 level di 25 lingkungan publik ARC-AGI-3. Proses tersebut menggunakan 6.624 aksi lingkungan dan memperoleh skor Relative Human Action Efficiency sebesar 100,00. Ini merupakan hasil yang mengesankan untuk sistem agent yang dikonfigurasi tersebut.
Namun, ini bukan skor 100% Claude Opus 5 secara mandiri, bukan estimasi terkontrol atas manfaat AVO, dan bukan bukti bahwa sistem tersebut melakukan generalisasi ke tugas privat ARC-AGI-3. NVIDIA menyatakan setiap batas tersebut dalam laporannya. Pelajaran yang berguna lebih sempit: pilihan model hanyalah satu variabel dalam evaluasi agent berjangka panjang, dan catatan benchmark harus mengidentifikasi harness, interface, set tugas, budget, dan metrik bersamanya.
Skor menjadi milik sistem end-to-end
Harness agent adalah lapisan operasi di sekitar model. Harness menentukan observasi apa yang masuk ke konteks, tool dan aksi apa yang tersedia, bagaimana memori bertahan di antara langkah, bagaimana kegagalan dideteksi, dan kapan supervisor mengarahkan ulang pekerjaan. Ubah lapisan itu, dan model yang sama dapat berperilaku seperti sistem yang berbeda.
Untuk proses set publiknya, NVIDIA mengatakan AVO menggunakan memori persisten, supervisor, tool, dan loop eksekusinya sendiri. Claude Opus 5 menerima setiap observasi sebagai kisi teks tepat berukuran 64×64, bukan gambar terender 512×512 yang digunakan konfigurasi utama VISTA. Agent menerima aksi yang tersedia, tetapi tidak menerima deskripsi aturan atau tujuan setiap lingkungan.
Detail tersebut adalah bagian dari hasil, bukan trivia implementasi. Kisi teks mengubah masalah persepsi. Memori persisten mengubah hal yang dapat digunakan kembali model setelah konteks langsungnya penuh. Supervisor mengubah cara proses merespons stagnasi. Deskripsi tool, kebijakan retry, dan budget aksi mengubah jalur yang dapat dieksplorasi sistem.
- ModelClaude Opus 5 beserta pengaturan penalarannya
- HarnessMemori, supervisor, alat, konteks, dan loop pemulihan
- Antarmuka dan tugasPengamatan kisi teks, tindakan yang tersedia, dan set publik
- Catatan prosesSkor RHAE, level selesai, tindakan, biaya, dan kegagalan
- Teramati
- Sistem ujung ke ujung yang dikonfigurasi menyelesaikan proses set publik.
- Tidak diisolasi
- Kontribusi kausal model, memori, supervisor, atau antarmuka.
- Tidak diukur
- Generalisasi ke tugas ARC-AGI-3 semiprivat atau sepenuhnya privat.
Inilah alasan mengurangkan satu skor utama dari skor lain tidak mengungkap “kontribusi harness.” Liputan independen dengan tepat memusatkan perhatian pada harness, tetapi penyederhanaannya bahwa model mencetak sekitar 30% “tanpa harness” memadatkan kondisi yang berbeda secara material menjadi satu sakelar. NVIDIA mengatakan angka ARC Prize yang lebih rendah menggunakan pengaturan reasoning serta setup agent dan evaluasi yang sangat berbeda.
RHAE menghargai penyelesaian dan aksi yang efisien
ARC-AGI-3 menghadirkan lingkungan interaktif seperti game tanpa instruksi, aturan yang dinyatakan, atau tujuan yang dinyatakan. Sistem harus mengeksplorasi, menyimpulkan apa yang dilakukan aksinya, menemukan objektif, lalu menyelesaikan level yang semakin sulit. Tes ini dimaksudkan untuk menangkap adaptasi melalui interaksi, bukan akurasi jawaban pada set pertanyaan statis.
Laporan teknis ARC Prize mendefinisikan Relative Human Action Efficiency, atau RHAE, dari jumlah aksi yang diambil sistem pada setiap level yang selesai dibandingkan dengan baseline manusia yang baru pertama kali mencoba. Rasio tersebut dikuadratkan, sehingga agent yang mengambil aksi sepuluh kali lebih banyak daripada baseline menerima kredit 1% untuk level itu. Level berikutnya memiliki bobot lebih besar, level yang tidak selesai membatasi skor lingkungan, dan skor benchmark akhir dirata-ratakan di seluruh lingkungan.
Karena itu, skor RHAE 100,00 mencatat performa lengkap dan efisien dalam aksi berdasarkan formula tersebut. Skor itu tidak berarti setiap aksi cocok dengan manusia, setiap hipotesis internal benar, prosesnya murah, atau sistem mencapai “kecerdasan umum 100%.” NVIDIA melaporkan jumlah penyelesaian dan aksi mentah secara terpisah agar metrik dapat ditafsirkan, bukan sekadar diulang.
Perbandingan sistem dengan model yang sama dan paling dekat dalam tulisan NVIDIA adalah VISTA. Kedua sistem yang dikonfigurasi menyelesaikan 183 level publik yang sama dengan Claude Opus 5. NVIDIA melaporkan 6.624 aksi lingkungan untuk AVO dan 7.542 untuk VISTA, sekitar 12% lebih sedikit untuk AVO.
| Proses atau referensi | Set tugas | Observasi dan batas sistem | Hasil yang dilaporkan | Kesimpulan yang valid |
|---|---|---|---|---|
| AVO dengan Claude Opus 5 | 25 lingkungan publik, 183 level | Observasi kisi teks; memori AVO, supervisor, tool, dan loop eksekusi | 100,00 RHAE; 6.624 aksi | Sistem yang dikonfigurasi ini menyelesaikan set publik dengan efisien |
| VISTA dengan Claude Opus 5 | 183 level publik yang sama | Backend, representasi observasi, memori, manajemen konteks, dan implementasi berbeda | 7.542 aksi | AVO menggunakan lebih sedikit aksi dalam perbandingan lintas sistem |
| Evaluasi model ARC Prize yang dikutip NVIDIA | Set publik | Keluarga model sama, pengaturan reasoning dan evaluasi berbeda | Sekitar 30% | Referensi tingkat model bukan ablation AVO |
NVIDIA secara eksplisit mengatakan perbandingan AVO-versus-VISTA bukan ablation terkontrol. Memori mungkin mengurangi eksplorasi berulang, tetapi eksperimen tidak mengukur memori saja. Perbedaan aksi 12% dapat mencerminkan beberapa perubahan yang saling berinteraksi, sehingga seharusnya mendorong pengujian yang lebih sempit, bukan klaim kausal.
Penyelesaian set publik bukan generalisasi ke set privat
Kata “publik” memiliki bobot lebih besar di sini daripada kata “sempurna.” ARC Prize merancang 25 lingkungan publik sebagai demonstrasi format yang mudah diakses. Laporannya mengatakan lingkungan tersebut sengaja dibuat lebih mudah, menekankan kejelasan dan keterlibatan, serta tidak secara menyeluruh mewakili mekanisme di set privat.
Holdout sebenarnya jauh lebih besar: 55 lingkungan semiprivat untuk menguji model di balik API eksternal dan 55 lingkungan sepenuhnya privat yang disimpan untuk kompetisi. Tugas-tugas itu dimaksudkan lebih sulit dan out-of-distribution relatif terhadap demonstrasi publik. ARC Prize mengatakan hasil set publik tidak akan dimasukkan ke leaderboard resminya karena tim dapat memeriksa atau menargetkan lingkungan tersebut dan karena performa publik bukan ukuran kemajuan yang valid menuju artificial general intelligence.
Laporan NVIDIA tidak mengklaim hasil di salah satu holdout. Analisis cakupan independen mencapai kesimpulan praktis yang sama: kaitkan set tugas, metrik, pengaturan reasoning, dan kondisi proses dengan angka tersebut. Hasil publik dapat mendemonstrasikan harness yang kapabel sambil membiarkan generalisasi belum diuji.
Ini tidak membuat proses tersebut tidak bermakna. Menyelesaikan 183 level interaktif dengan aksi lebih sedikit daripada sistem terkonfigurasi lain yang berhasil merupakan bukti berguna tentang rekayasa sistem. Hasil itu hanya menjawab pertanyaan yang berbeda dari benchmark privat resmi.
Hasil publik tidak mengisolasi kontribusi AVO
AVO dan VISTA sama-sama menyelesaikan 183 level publik yang sama dengan Claude Opus 5, sementara AVO menggunakan sekitar 12% lebih sedikit aksi lingkungan. Perbandingan itu sugestif, tetapi laporan tidak menahan memori, supervisi, pemulihan, prompt, dan setiap pilihan harness lain tetap satu per satu. Komponen yang dipasarkan tersebut karena itu tidak dapat mewarisi seluruh peningkatan sistem.
Set publik juga menjadi permukaan pengembangan yang dapat diperiksa tim. Set tersebut dapat menunjukkan sistem end-to-end yang kapabel, tetapi hanya lingkungan semiprivat dan sepenuhnya privat yang dapat menguji apakah sistem berpindah melampaui tugas yang tersedia saat tuning. Ini adalah masalah cakupan yang sama yang diidentifikasi oleh analisis HarnessRisk (bahasa Indonesia): skor model tidak berpindah secara independen dari harness-nya.
Bukti berikutnya harus mengisolasi mekanisme
Follow-up terkuat adalah ablation AVO terkontrol yang mempertahankan model, pengaturan reasoning, interface kisi teks, lingkungan publik, dan budget aksi tetap, sambil menguji memori, supervisi, dan pemulihan secara terpisah. Evaluasi semiprivat atau sepenuhnya privat akan menjawab pertanyaan lain: apakah sistem berpindah melampaui tugas yang dapat diperiksa desainernya.
Biaya dan latensi juga harus ditempatkan di samping skor. Sistem berjangka panjang dapat menukar lebih banyak pemanggilan model, eksekusi tool, lintasan supervisor, atau konteks tersimpan untuk penyelesaian yang lebih baik. Laporan publik memberikan aksi lingkungan, tetapi tidak cukup informasi untuk membandingkan biaya serving lengkap dari konfigurasi yang dikutip.
Sampai hasil tersebut tersedia, proses NVIDIA harus dideskripsikan secara tepat dan hanya diberi kredit atas hal yang didemonstrasikannya. AVO dengan Claude Opus 5 menyelesaikan set publik ARC-AGI-3 dengan skor RHAE 100,00 dan 6.624 aksi lingkungan. Itu adalah bukti bahwa sistem di sekitarnya penting. Ini juga pengingat bahwa pertanyaan benchmark serius berikutnya bukan “skor mana yang lebih besar?” melainkan “bagian sistem mana yang berubah, dan apakah hasilnya bertahan pada holdout?”