13 September 2026: evaluator, benchmark privat, dan agent terkelola
Anthropic membuka labnya bagi evaluator eksternal, Real-SWE menguji agent pada kode privat, dan OpenAI mengubah Codex harness menjadi API.
Rilis hari ini membuat model tampak semakin tidak seperti keseluruhan produk, melainkan komponen yang harus diatur, diukur, dan dioperasikan. Anthropic menawarkan kursi di dalam lab kepada evaluator eksternal, benchmark kode privat menguji agent pada pekerjaan yang tidak dapat dilihat leaderboard publik, dan OpenAI menjual harness agent-nya sebagai infrastruktur. Pertanyaan yang menghubungkan semuanya bukan lagi hanya apa yang dapat dilakukan model, melainkan siapa yang mengendalikan bukti, eksekusi, dan pemulihan di sekelilingnya.
Perkembangan utama
1. Anthropic menawarkan kursi permanen di dalam lab kepada evaluator eksternal
Proposal tiga tahap Dario Amodei dimulai dengan komitmen Anthropic saat ini: evaluator independen terpilih akan menerima akses seperti karyawan, termasuk meja kerja, badge, laptop, dan kontak langsung dengan peneliti, sembari tetap dapat menerbitkan hasilnya. Ia juga menyerukan standar keselamatan industri bersama, pengecualian antimonopoli untuk mengoordinasikannya, dan kesepakatan internasional untuk mengatur laju pengembangan frontier. Menurut AP, Sam Altman dari OpenAI mengatakan perusahaannya akan mengikuti komitmen evaluator tersebut, tetapi belum ada lab yang menerbitkan aturan seleksi, ketentuan akses, hak untuk menyensor atau menahan bagian laporan, atau tanggal mulai. Karena itu, proposal ini lebih penting sebagai janji yang dapat diuji untuk memindahkan verifikasi ke dalam siklus pengembangan daripada sebagai bukti bahwa oversight berhasil. Linimasa kapabilitas dan bencana Amodei tetap merupakan prakiraan, bukan fakta yang sudah mapan.
Pantau: evaluator pertama yang disebut namanya, hak publikasi mereka, konflik kepentingan yang diungkapkan, dan apakah laporan muncul sebelum keputusan deployment, bukan sesudahnya.
Sumber: proposal lengkap dan komitmen Anthropic dari Amodei, laporan independen AP dan tanggapan Altman, diskusi praktisi pada hari yang sama
2. Real-SWE membawa evaluasi coding agent ke balik firewall perusahaan
Benchmark Real-SWE dari Specific mengganti repositori issue publik dengan pekerjaan engineering yang telah selesai dari codebase privat berlisensi: billing, pajak, migrasi, dan tugas produksi lainnya. Rilis pertamanya hanya mencakup 10 tugas, tetapi setiap kombinasi model dan harness dijalankan delapan kali sehingga menghasilkan 640 rollout yang diberi skor. Pemimpin yang dilaporkan, Fable 5.1 dengan Claude Code, menyelesaikan 38,8%; GPT-6 Astra dengan Codex CLI mencapai 33,8%, dan Gemini 3.8 Flash dengan Gemini CLI mencapai 31,2%. Kode tersembunyi mengurangi kontaminasi pelatihan yang mudah terlihat dan membuat pekerjaan lebih mewakili pemeliharaan enterprise. Namun, hal itu juga membatasi reproduktibilitas, sementara pemasangan setiap model dengan harness berbeda mencegah perbandingan model-saja yang bersih. Hasil yang berguna adalah desain benchmark-nya, bukan pemenang tahan lama dari sampel sepuluh tugas.
Pantau: lebih banyak codebase yang disumbangkan, interval kepercayaan per tugas, pengujian ulang dengan harness bersama, dan aturan yang menentukan apakah penyedia tertutup mempertahankan data evaluasi privat.
Sumber: benchmark, skor, dan metodologi Specific, pemeriksaan Hacker News pada hari peluncuran, diskusi LocalLLaMA tentang privasi dan reproduktibilitas
3. OpenAI mengubah harness agent menjadi control plane terkelola
Agents API OpenAI membuka harness Codex dalam public beta untuk sesi yang dapat berjalan berjam-jam atau berhari-hari, dengan manajemen konteks, tool, orkestrasi multi-agent, dan sandbox yang di-host OpenAI. Developer dapat menjalankan tool di infrastruktur mereka sendiri atau melalui partner. Integrasi Vercel menunjukkan pembagian yang dihasilkan dengan jelas: OpenAI mempertahankan loop dan state sesi, sementara Vercel menjalankan aplikasi dan sandbox, lalu menyambungkan kembali pekerjaan melalui webhook dan queue bertanda tangan. Ini dapat menghapus banyak pekerjaan orkestrasi, tetapi tidak mengalihdayakan izin tool, batas data, kebijakan pemulihan, atau ketergantungan vendor. API tidak menambahkan biaya layanan terpisah; token model, tool, dan lingkungan yang di-host tetap dikenai biaya normalnya. Metrik peluncuran OpenAI adalah testimoni pelanggan yang dipilih, bukan benchmark independen.
Pantau: data reliabilitas publik untuk sesi panjang, kegagalan yang dapat dilanjutkan, audit izin, tagihan end-to-end, dan perbandingan harness yang di-host sendiri dengan kemampuan setara.
Sumber: arsitektur Agents API dan catatan harga OpenAI, pola implementasi Vercel, diskusi developer independen
Sinyal lainnya
4. RubyGems memisahkan kampanye spam yang terverifikasi dari atribusi AI yang belum pasti
Ruby Central mengatakan telah menghapus lebih dari 500 package berbahaya dari kampanye bulan Mei, tetapi tidak dapat mengonfirmasi klaim peneliti bahwa agent OpenAI menerbitkannya atau apakah upaya mendapatkan API key berhasil. Konfigurasi RubyDoc pada package tersebut dapat mengeksekusi kode selama build dokumentasi. Pelajaran praktisnya tidak bergantung pada atribusi: registry membutuhkan pembatasan upload, isolasi build, dan respons anomali bahkan ketika operatornya tidak diketahui.
Sumber: temuan terverifikasi dan catatan Ruby Central, ulasan Simon Willison atas buktinya, diskusi keamanan yang banyak mendapat perhatian
5. Habitat OpenAI menjadikan storage terbatas sebagai fitur berskala AI
OpenAI mengatakan Habitat kini menangani lebih dari 70 juta request per detik di sekitar 40 region dan 500 petabyte, dengan antarmuka NoSQL yang sengaja dipersempit sambil memindahkan query kompleks ke luar. Rewrite Rust yang dibantu Codex oleh dua engineer kini melayani 95% traffic produksi; pengukuran vendor mengklaim efisiensi CPU enam kali dan memori lima belas kali dibandingkan Python. Arsitekturnya instruktif, tetapi tidak ada distribusi latensi, tingkat error, atau kode publik yang mendukung perbandingan independen.
Sumber: arsitektur Habitat dan pengukuran yang dilaporkan OpenAI, pembacaan teknis independen atas rewrite tersebut
6. AgentZip menyasar memori yang terduplikasi di seluruh sandbox agent
AgentZip mengompresi memori sandbox terhadap template bersama dan sandbox di dekatnya, lalu memulihkan halaman yang kemungkinan dibutuhkan sebelum digunakan. Penulisnya melaporkan kompresi 8,7× untuk memori milik sandbox, dibandingkan 2,1× untuk kompresi Linux, serta menurunkan perlambatan mode agresif dari 3,1× menjadi 1,40× melalui prefetch dan pekerjaan yang dijadwalkan saat model menunggu. Paper ini adalah evaluasi yang belum ditinjau sejawat dan dijalankan oleh penulis sendiri; implementasi independen harus menguji apakah keuntungannya bertahan pada workload dan kegagalan nyata.
Sumber: paper AgentZip dan setup eksperimennya, rangkuman independen yang menempatkan hasil ini dalam riset sistem pekan ini
7. GPT-5.3-Codex-Spark mendapat pemberitahuan pensiun tanpa peta migrasi
Thibault Sottiaux, pimpinan produk Codex, mengatakan GPT-5.3-Codex-Spark akan pensiun “minggu depan” (terjemahan), dengan alasan penggunaan menurun dan model yang lebih baik. Pemberitahuan itu tidak disertai cutoff yang tepat, surface yang terdampak, atau pengganti yang ditunjuk, dan halaman deprecation resmi belum menambahkan baris terkait saat ditinjau. Tim yang memiliki workflow Spark yang dipatok sebaiknya menginventarisasinya sekarang, tetapi jangan menganggap ketersediaan API dan produk akan berakhir bersamaan.
Sumber: pemberitahuan pensiun langsung dari Sottiaux, catatan pengumuman bertimestamp dari Modelyard, kekhawatiran migrasi komunitas Codex
Yang perlu dipantau berikutnya
Keunggulan yang bertahan lama sedang bergeser dari akses model ke sistem operasi di sekelilingnya: evaluator yang dapat memeriksa pekerjaan sebelum rilis, pengujian privat yang menyerupai repositori nyata, orkestrasi yang dapat melanjutkan pekerjaan dengan aman, dan infrastruktur yang memperlihatkan batas nyatanya. Pengungkapan berikutnya yang berguna akan membuat kontrol tersebut dapat diaudit—reviewer yang disebut namanya, metode tugas privat yang dapat direproduksi, distribusi kegagalan dan biaya, serta tenggat migrasi yang cukup presisi untuk dijadikan dasar perencanaan.
Sumber
- Dario Amodei’s We Must Pace the Frontier essay
- AP report on Anthropic’s evaluator commitment
- Hacker News discussion of Amodei’s proposal
- Specific’s Real-SWE benchmark and methodology
- Hacker News discussion of Real-SWE
- LocalLLaMA discussion of Real-SWE’s private tasks
- OpenAI announcement of the Agents API public beta
- Vercel’s Agents API deployment integration
- Hacker News discussion of the Agents API
- Ruby Central update on the May spam campaign
- Simon Willison’s review of the RubyGems attribution
- Hacker News discussion of the RubyGems investigation
- OpenAI’s Habitat storage architecture report
- Independent technical review of the Habitat rewrite
- AgentZip paper on memory compression for agent sandboxes
- Independent research roundup covering AgentZip
- Codex product lead’s GPT-5.3-Codex-Spark retirement notice
- Modelyard record of the Spark retirement notice
- Codex community discussion of the Spark retirement