Mengapa Google DeepMind Menguji Agent AI di EVE Online Offline
DeepMind memulai riset agent EVE secara offline. Inilah alasan dunia persisten membutuhkan pengujian berbeda untuk memori, perencanaan, pemulihan, dan keselamatan.
Google DeepMind dan Fenris Creations berencana menguji agent AI di dalam versi lokal dan offline EVE Online. Pemisahan dari game live adalah bagian terpenting pengumuman ini: pemisahan tersebut menciptakan tempat untuk mengulangi eksperimen, mengubah dunia secara sengaja, dan memeriksa kegagalan tanpa melibatkan pemain atau ekonomi live.
Pengumuman itu tidak mengatakan apakah SIMA 2 dapat beroperasi selama berbulan-bulan di EVE, mengelola ekonominya, atau bergabung ke server publik Tranquility. Tidak satu pun mitra menerbitkan suite tugas EVE, skor agent, protokol teknis, atau tanggal deployment live. Nilainya terletak pada persoalan evaluasi yang dipilih: state persisten, konsekuensi tertunda, informasi yang tidak lengkap, dan banyak aktor yang perilakunya tidak di-reset setelah satu pertandingan.
Salinan terkontrol dapat mengekspos kegagalan dalam memori, perencanaan, adaptasi, dan pemulihan selama proses panjang sambil mempertahankan titik reset yang diketahui. Itu membuat dunia offline menjadi batas riset yang berguna, bukan bukti bahwa agent siap menghadapi pemain live atau dunia nyata.
Jalur yang diumumkan dimulai jauh dari pemain live
Tulisan riset Google DeepMind pada 21 Agustus menjelaskan program bertahap. Program tersebut dimulai dari instance EVE Online offline, lalu mungkin berlanjut melalui EVE Frontier sebagai tempat untuk mempelajari manusia dan agent dalam dunia yang persisten dan terbuka. Perusahaan mengatakan EVE Online atau EVE Vanguard baru akan dipertimbangkan setelah kapabilitas matang.
Fenris memberikan batas itu dengan istilah operasional yang lebih lugas. Pembaruan pemain pada 20 Agustus mengatakan pekerjaan dimulai dengan versi offline di server lokal, menggunakan simulasi dan informasi historis. Pembaruan itu menawarkan dedicated server dengan akses opt-in sebagai salah satu contoh pengujian yang mungkin dihadapi pemain. Tulisan-tulisan tersebut tidak menjelaskan tata kelola data: tidak satu pun merinci catatan historis yang digunakan, aturan retensinya, atau kontrol eksperimen yang tepat.
Proyek ini mendahului dua tulisan Agustus tersebut. PC Gamer melaporkan kemitraannya pada Mei, termasuk testbed offline yang direncanakan dan fokus pada perencanaan jangka panjang, memori, serta continual learning. Materi Agustus menambahkan urutan yang lebih jelas, tetapi tetap mengumumkan arah riset, bukan hasil.
Secara bersama-sama, sumber tersebut menyelesaikan dua salah tafsir umum. “Offline” tidak selalu berarti offline reinforcement learning dari dataset tetap; para mitra menjelaskan server lokal yang berjalan sekaligus informasi historis. Dan “dunia persisten” tidak berarti agent riset dibiarkan bebas di semesta publik EVE. Eksperimen dapat mempertahankan state lintas sesi sambil tetap terisolasi dari akun dan pasar live.
Persistensi mengubah hal yang harus diingat evaluasi
Banyak evaluasi game memadatkan proses menjadi episode bersih: titik mulai yang ditentukan, tujuan yang terlihat, skor, dan reset. Evaluator dapat membandingkan agent karena setiap percobaan dimulai dalam kondisi yang hampir sama.
EVE menarik karena state penting bertahan melampaui satu pertemuan. Pasar berubah. Sumber daya menjadi langka. Informasi tetap tidak lengkap. Aktor lain dapat bekerja sama, berkhianat, atau mengejar tujuan yang tidak terkait. Sebuah pilihan dapat membuat tugas berikutnya lebih mudah, menutup jalur, atau menciptakan kewajiban yang baru muncul jauh setelah tindakan penyebabnya.
State persisten mengubah unit pengukuran. Satu misi yang berhasil tidak dapat menetapkan perencanaan jangka panjang jika agent menghabiskan budget aksi tersembunyi yang besar, mengandalkan state istimewa, melupakan komitmen sebelumnya, atau meninggalkan kerusakan yang baru disadari evaluator kemudian. Catatan proses yang serius harus menghubungkan aksi, memori yang dipertahankan, perubahan state dunia, hasil tertunda, dan jalur pemulihan.
| Properti evaluasi | Tugas berbasis reset | Pengujian dunia persisten |
|---|---|---|
| State awal | Dipulihkan untuk setiap percobaan | Snapshot berversi ditambah state terakumulasi |
| Objektif | Biasanya eksplisit dan lokal | Dapat parsial, bersaing, atau direvisi kemudian |
| Aktor lain | Kebijakan tetap atau episode terbatas | Agent terkontrol yang dapat bekerja sama, bersaing, atau mengubah strategi |
| Memori | Berguna dalam satu episode | Harus bertahan melintasi batas yang dipilih tanpa mempertahankan kontaminasi |
| Kegagalan | Kegagalan tugas seketika | Dapat tertunda, menumpuk, bersifat sosial, atau ekonomi |
| Reproduktibilitas | Memutar ulang episode yang sama | Mem-fork snapshot dunia, peristiwa, aktor, dan budget aksi yang sama |
Persistensi juga dapat membuat benchmark tidak reproducible. Jika setiap run melihat pasar, counterpart, dan event tersembunyi yang berbeda, skor mungkin lebih banyak berbicara tentang skenario daripada agent. Testbed baru berguna ketika perubahan tersebut diberi versi atau diacak secara sengaja, dan evaluator dapat memutar ulang cabang yang sama.
SIMA 2 menyediakan konteks agent, bukan hasil EVE
DeepMind menghubungkan kemitraan EVE dengan SIMA, Scalable Instructable Multiworld Agent miliknya. Sistem ini mengamati layar game, mengikuti instruksi bahasa alami, dan bertindak melalui kontrol keyboard serta mouse virtual, bukan API khusus game. Interface tersebut dimaksudkan agar satu agent dapat digunakan di berbagai dunia 3D.
Ikhtisar riset SIMA 2 melaporkan peningkatan penyelesaian tugas di game yang diuji, termasuk lingkungan held-out, setelah penambahan reasoning Gemini dan data pelatihan yang dibuat sendiri. Angka dan deskripsi kapabilitas itu sepenuhnya berasal dari Google DeepMind; tidak ada pengujian EVE independen yang menyertainya.
Lebih penting lagi bagi kemitraan ini, tulisan yang sama mengidentifikasi celahnya. DeepMind mengatakan SIMA 2 masih kesulitan dengan tugas yang sangat panjang dan kompleks yang membutuhkan penalaran multi-langkah serta verifikasi tujuan. DeepMind juga mengatakan agent memiliki memori interaksi yang relatif singkat karena context window-nya dibatasi untuk mempertahankan kontrol berlatensi rendah. Aksi keyboard dan mouse yang presisi serta pemahaman visual yang tangguh masih menjadi masalah terbuka, dan akses dibatasi untuk kelompok kecil research preview.
Karena itu, EVE menargetkan kelemahan yang telah diakui lab, bukan kapabilitas yang sudah didemonstrasikan. Dunia yang konsekuensi pentingnya dapat berlangsung selama berminggu-minggu merupakan pengujian yang sangat tajam bagi agent yang saat ini kehilangan riwayat interaksi jauh lebih cepat.
- Bekukan duniaBeri versi pada server offline, masukan historis, aturan, dan titik reset.
- Jalankan tugas panjangGunakan peristiwa tersembunyi, konsekuensi tertunda, dan aktor terkontrol lainnya.
- Ubah satu sistemPertahankan model, alat, anggaran, dan tugas saat menguji memori.
- Audit prosesUkur penyelesaian, pemulihan, biaya, kegagalan kebijakan, dan keadaan yang dipertahankan.
- Pengujian offline dapat menunjukkan
- Apakah konfigurasi agen tertentu tetap berguna dan dapat dipulihkan saat keadaan dan tujuan berubah.
- Pengujian ini sendiri tidak dapat menunjukkan
- Deployment yang aman untuk pemain langsung, transfer dunia nyata, atau komponen mana yang menyebabkan peningkatan teramati.
Protokol yang dapat direproduksi membutuhkan fork, holdout, dan pemeriksaan tertunda
Server offline membuka jalan bagi evaluasi terkontrol, sementara protokolnya belum dipublikasikan. Desain yang berguna akan memperlakukan state dunia sebagai artefak kelas satu dan memisahkan tugas pengembangan dari bukti yang digunakan untuk klaim akhir.
Mulai setiap perbandingan dari snapshot server yang immutable. Catat build game, aturan, state ekonomi, cutoff input historis, observasi yang diizinkan, interface, tool, identifier model, prompt, kebijakan memori, dan budget aksi. Simpan image pemulihan yang bersih agar proses yang gagal atau terkontaminasi dapat direproduksi tanpa diam-diam membawa state ke percobaan berikutnya.
Bangun keluarga tugas dalam beberapa skala waktu. Tugas singkat dapat menguji persepsi dan kontrol presisi. Tugas berskala sesi dapat menguji eksplorasi dan adaptasi setelah rencana gagal. Tugas multi-sesi harus mengharuskan agent mempertahankan komitmen, mendeteksi kondisi yang berubah, dan merevisi rencana tanpa mengarang sejarah. Pemeriksaan tertunda harus memeriksa apakah agent mempertahankan instruksi tidak aman, mengakumulasi sumber daya tanpa batas, merugikan counterpart terkontrol, atau meninggalkan perubahan state dunia yang gagal dilaporkannya.
Kemudian ubah satu batas sistem pada satu waktu. Untuk menguji memori jangka panjang, pertahankan model, tool, snapshot dunia, tugas, kebijakan counterpart, dan budget, lalu ubah hanya mekanisme memori. Bandingkan tanpa memori durable, memori yang diambil secara terbatas, dan perlakuan dengan provenance serta expiry yang eksplisit. Context window yang lebih besar, supervisor berbeda, dan retry lebih banyak tidak boleh semuanya berubah dalam perbandingan yang sama jika kesimpulannya adalah “memori meningkatkan perencanaan.”
Gunakan cabang skenario tersembunyi. Tugas pengembangan dapat mengajari tim cara kerja interface, sementara event held-out menguji apakah agent beradaptasi, bukan memutar ulang urutan yang telah diketahui. Fork satu dunia awal menjadi cabang yang dipadankan di beberapa seed dan sertakan baseline manusia atau skrip ketika baseline tersebut memperjelas tingkat kesulitan. Satu proses yang menghibur adalah demonstrasi, bukan estimasi.
Catatan proses harus melaporkan lebih dari sekadar penyelesaian:
- penyelesaian tugas dan waktu menuju tujuan pada setiap horizon;
- aksi, pemanggilan model, token, waktu wall-clock, dan biaya komputasi atau serving;
- presisi memori, penggunaan memori usang, pemulihan kontradiksi, dan pertumbuhan state;
- revisi rencana setelah event tersembunyi dan pemulihan setelah aksi gagal;
- kerja sama, transfer sumber daya, pelanggaran kebijakan, dan dampak pada aktor terkontrol;
- proses tidak valid, cacat lingkungan, jumlah intervensi, dan keberhasilan rollback; serta
- variasi run berulang, kategori kegagalan, dan tautan ke bukti yang dapat diputar ulang.
Disiplin sistem yang sama muncul dalam analisis benchmark NVIDIA AVO kami (bahasa Indonesia): model, harness, interface, tugas, dan budget berpindah bersama skor. Analisis HarnessRisk (bahasa Indonesia) menambahkan peringatan pelengkap bahwa perilaku runtime hanyalah satu fase risiko agent yang di-deploy.
Isolasi mengurangi konsekuensi; keselamatan tetap membutuhkan bukti
Isolasi mengurangi konsekuensi eksplorasi. Bukti tentang perilaku agent, penggunaan data historis yang tepat, dan kontrol dalam konfigurasi live masa depan tetap harus dikumpulkan secara terpisah.
Keputusan rilis bertahap membutuhkan bukti tentang utilitas dan containment. Evaluator harus dapat menjeda agent, membatasi aksinya, memeriksa state yang dipertahankan, memulihkan dunia, mencabut akses, dan menjelaskan orang atau aktor otomatis mana yang terdampak. Setiap fase yang berhadapan dengan pemain membutuhkan desain consent, data, identitas, moderasi, dan banding yang didokumentasikan secara terpisah; benchmark offline tidak dapat memutuskan pertanyaan tersebut sebelumnya.
Benchmark ini juga tidak dapat menetapkan transfer ke dunia nyata. EVE memiliki dinamika sosial dan ekonomi yang kaya, tetapi semuanya berada di dalam aturan, interface, dan insentif game. Keberhasilan di sana dapat mengungkap mekanisme yang berguna untuk memori atau perencanaan. Klaim tentang robotika, organisasi, atau masyarakat membutuhkan evaluasi baru di domain tersebut, bukan analogi yang ditarik melampaui buktinya.
Publikasi berikutnya seharusnya berupa protokol, bukan highlight reel
Kemitraan ini menjadi informatif secara ilmiah ketika tim menerbitkan batas lingkungan berversi, suite tugas, baseline, konfigurasi agent, budget, hasil berulang, dan bukti kegagalan. Penjelasan yang jelas tentang informasi historis yang masuk ke pengujian akan menutup celah eksplisit lainnya.
Sampai saat itu, kesimpulan yang aman bersifat sederhana tetapi penting. Google DeepMind dan Fenris memulai dari EVE Online offline karena dunia persisten dapat mengekspos kegagalan memori dan perencanaan yang disembunyikan game pendek dan mudah di-reset. Setup ini merupakan prasyarat untuk evaluasi yang lebih kuat; hasil yang dipublikasikan masih belum tersedia.