WorldCup Arena Menghindari Kebocoran, tetapi Papan Peringkatnya Bukan Putusan
WorldCup Arena menguji prediksi LLM sebelum hasil pertandingan ada, tetapi metode penskoran mengubah peringkat dan arsip publik tidak mencakup setiap pemanggilan model asli.
Keenam model bahasa besar diminta WorldCup Arena memprediksi setiap pertandingan Piala Dunia FIFA 2026 sebelum kickoff, lalu 4.494 prediksi yang telah dikunci diberi skor berdasarkan hasil yang belum ada ketika model menjawab. Penanggalan ini memberi eksperimen tersebut kekuatan yang langka: model tidak dapat mengingat hasil dari data pelatihan atau mengambilnya dari web sebelum pertandingan dimainkan.
Papan peringkat yang dihasilkan jauh kurang menentukan. Keenam sistem rata-rata mencapai akurasi 63,9% pada tugas hasil pertandingan tiga arah, dibandingkan 64,4% jika secara mekanis memilih tim yang diunggulkan oleh garis bandar taruhan tetap. Hanya dengan mengubah agregasi skor, muncul tiga pemenang yang berbeda, sementara keunggulan skor pertandingan model teratas atas sistem unggulan lain memiliki interval bootstrap yang melewati nol.
Setelah kebocoran jawaban disingkirkan, bagian lain dari evaluasi masih terbuka untuk ditelaah. Pilihan tugas, retrieval, penskoran, ketidakpastian, dan akses artefak tetap membatasi makna papan peringkat tersebut.
Tiga kunci membuat setiap prediksi mendahului hasilnya
Preprint WorldCup Arena tanggal 4 Agustus menjelaskan pelaksanaan selama 39 hari yang mencakup seluruh 104 pertandingan turnamen. Sebelum setiap kickoff, setiap sistem menerima header pertandingan yang sama, garis handicap bandar taruhan yang tetap, dan dossier bergulir untuk kedua tim. Model juga dapat menggunakan web search native sisi server dari penyedianya.
Setiap sistem berkomitmen pada tujuh pasar pilihan tunggal: handicap, paruh waktu/penuh waktu, hasil pertandingan, total gol di atas atau di bawah 2,5, kedua tim mencetak gol, skor tepat, serta total gol ganjil atau genap. Penulis juga meminta 12 pemenang grup dan pool prapurnamen yang mencakup juara, finalis, semifinalis, konfederasi pemenang, dan ambang total gol.
Protokol ini menggunakan tiga kunci prosedural:
- Kunci snapshot hanya menyajikan versi dossier yang masih berlaku sebelum pertandingan tersebut. Hasil baru masuk ke snapshot berikutnya setelah tanggal pertandingan terkait berlalu.
- Kunci kickoff mewajibkan setiap pemanggilan model selesai sebelum pertandingan dimulai, sehingga model yang memiliki kemampuan pencarian tidak dapat mengambil hasil langsung.
- Kunci template menetapkan prompt, pasar, bobot skor, dan garis handicap sebelum keenam sistem dipanggil.
Kontrol ini secara langsung mengatasi kebocoran jawaban temporal. Pengujian retrospektif biasanya harus memperkirakan apakah model menghafal jawaban yang sudah dipublikasikan, atau menyembunyikan detail dengan cukup baik agar jawaban tidak dapat direkonstruksi. WorldCup Arena justru memilih pertanyaan yang jawabannya belum tercipta.
Namun, “bebas kebocoran” tetap perlu dibaca pada batas jawaban. Sistem diizinkan mencari berita tim, odds, cedera, dan analisis publik yang tersedia sebelum kickoff. Informasi itu merupakan bukti forecasting yang sah, bukan kebocoran. Karena itu, benchmark ini mengukur konfigurasi end-to-end yang mencakup keluarga model, search stack milik penyedia, prompt dan dossier, serta aturan skor. Benchmark ini tidak mengisolasi penalaran model dasar tanpa bantuan.
Baseline bandar taruhan lebih penting daripada pemenangnya
Perbandingan paling informatif dalam paper bukan posisi pertama melawan posisi keenam, melainkan cohort enam sistem melawan baseline konsensus publik yang sederhana.
Di 104 pertandingan, model rata-rata mencapai akurasi 63,9% untuk kemenangan kandang, seri, atau kemenangan tandang. Selalu memilih tim yang diunggulkan oleh garis handicap tetap benchmark mencapai 64,4%. Hanya satu sistem yang melampaui baseline itu, dengan keunggulan dua pertandingan. Majority vote dari keenam sistem mencapai 65,4%, yang disebut penulis masih berada dalam kisaran noise dari hasil individual terbaik.
Model-model itu juga memiliki kesalahan yang serupa. Mereka memprediksi lebih sedikit hasil seri daripada 27 seri yang terjadi, meremehkan total gol, dan memusatkan 28% pilihan skor tepat pada 2–1. Performa menurun dalam pertandingan knockout yang berimbang meskipun dossier bergulir saat itu lebih kaya. Pola-pola ini mendukung kesimpulan yang sempit: sistem sering memampatkan pertandingan yang tidak pasti menjadi prediksi sepak bola konvensional yang sama.
Pola itu tidak menunjukkan bahwa LLM yang memakai alat tidak memiliki nilai forecasting sama sekali. Tugas ini memberi setiap sistem garis bandar taruhan dan mengizinkan live search, lalu mengevaluasi satu turnamen yang sangat singkat dan bervariansi tinggi. Praktisi sebaiknya mengakui desain prospektifnya, tetapi menolak lompatan dari “tidak mengalahkan jangkar sepak bola ini” menjadi “tidak dapat meramalkan peristiwa yang berubah apa pun.”
Lima papan skor, tiga pemenang
WorldCup Arena memberikan bobot poin yang berbeda untuk tujuh pasar, lalu menambahkan poin terpisah untuk grup dan pool turnamen. Ini menghasilkan satu cara yang sah untuk melihat performa, tetapi bukan fakta netral dari alam.
Penulis menghitung ulang skor prediksi terkunci yang sama dengan lima cara. Satu sistem memenangkan sudut pandang pasar pertandingan, paruh pertama, dan scorecard lengkap. Sistem lain memenangkan paruh kedua. Sistem ketiga menang ketika setiap match day dinormalisasi menjadi 100 sebelum dirata-ratakan. Setiap sistem memimpin setidaknya satu dari 34 match day, dan paper melaporkan bahwa setelah normalisasi, selisih rata-rata di dalam satu hari sekitar sepuluh kali lipat dari selisih sepanjang turnamen.
| Cara membaca arsip | Apa yang berubah | Apa yang dapat didukung pemenang |
|---|---|---|
| Pasar pertandingan saja | Mengecualikan pertanyaan grup dan pool turnamen | Total terbaik dengan bobot pertandingan yang telah diumumkan |
| Paruh pertama atau kedua | Mengubah pertandingan dan fase turnamen yang disertakan | Performa selama bagian turnamen ini |
| Scorecard lengkap | Menambahkan pemenang grup dan pool prapurnamen | Total terbaik dengan skema pembobotan penuh paper |
| Indeks yang dinormalisasi per hari | Memberi bobot sama pada setiap match day setelah penskalaan ulang | Posisi relatif rata-rata terbaik di seluruh hari |
Para peneliti tidak menyembunyikan sensitivitas ini; ini adalah salah satu hasil terkuat mereka. Jika papan peringkat berubah ketika agregasi yang dapat dipertanggungjawabkan ikut berubah, hasilnya harus dilaporkan sebagai serangkaian perbandingan yang dikondisikan oleh tugas, bukan diubah menjadi urutan universal model-model dasarnya.
Ketidakpastian memperkuat pembacaan yang sama. Paper melakukan bootstrap terhadap 104 pertandingan sebanyak 10.000 kali. Perbedaan skor pertandingan yang dilaporkan antara sistem teratas dan GPT adalah 22 poin, dengan interval 95% dari -49 sampai 94. Interval itu tidak mengidentifikasi pemenang yang stabil di antara dua konfigurasi tersebut.
Benchmark ini tidak mengukur kalibrasi
Kalibrasi menanyakan apakah probabilitas yang dinyatakan sesuai dengan frekuensi yang diamati. Jika sebuah sistem memberikan probabilitas 70% untuk banyak peristiwa, forecaster yang terkalibrasi dengan baik seharusnya benar sekitar 70% dari waktu dalam kasus yang sebanding.
Output WorldCup Arena yang diberi skor berupa pilihan tunggal, bukan distribusi probabilitas. Akurasi dan poin berbobotnya dapat membandingkan pilihan, tetapi tidak dapat menunjukkan apakah model bersikap cukup tidak pasti. Pilihan 51% yang penuh keyakinan dan pilihan 34% yang ragu-ragu menjadi pilihan kategoris yang sama.
Preprint terpisah dengan nama mirip, WorldCupArena, menunjukkan perbedaan desain tersebut. Proyek itu mengevaluasi 13 sistem berdasarkan probabilitas hasil, distribusi skor, prediksi pemain dan peristiwa, statistik pertandingan, serta hasil turnamen. Implementasi open-source-nya menggunakan skor Brier dan ranked-probability untuk hasil inti, bersama metrik khusus tugas untuk bidang lainnya.
Kedua studi itu bukan replikasi independen: mereka menggunakan sistem, prompt, kondisi bukti, skema output, metrik, dan bobot komposit yang berbeda. Keduanya berguna jika dilihat bersama karena menunjukkan bagaimana pertanyaan evaluasi menentukan buktinya. Pasar pilihan tunggal membuat run langsung lebih mudah diselesaikan secara konsisten. Forecast probabilitas membuat kalibrasi dapat diukur. Tidak satu pun desain seharusnya meminjam klaim dari desain lainnya.
Kode publik bukan catatan publik untuk setiap pemanggilan asli
Penulis WorldCup Arena merilis materi yang cukup banyak. Repositori publik mencakup pipeline untuk penyusunan dossier, perakitan prompt, routing penyedia, settlement, penskoran, dan analisis. Dataset yang ditautkan berisi 48 dossier tim dalam 46 snapshot bertanda waktu, 104 pertandingan, metadata tim dan venue, serta hasil resmi. Paper menyatakan bahwa penskoran deterministik atas dua berkas JSON yang dibekukan dapat menghasilkan ulang total dan figurnya.
Namun, repositori itu juga menyatakan bahwa prediksi penulis, respons model mentah, dan prompt yang diarsipkan disimpan untuk audit tetapi sengaja tidak dipublikasikan. Paper menyebut situs proyek publik memuat kartu pilihan per pertandingan dan papan peringkat, tetapi hal itu tidak sama dengan merilis respons penyedia mentah, metadata permintaan, dan arsip prediksi lengkap yang digunakan dalam analisis.
Artefak yang tersedia mendukung dua tingkat reproduktibilitas yang berbeda:
| Pertanyaan reproduktibilitas | Bukti publik saat ini |
|---|---|
| Dapatkah tim lain memeriksa input benchmark, pipeline, penskoran, dan analisis agregat yang dilaporkan? | Sebagian besar ya, melalui kode, dossier beku, pertandingan, hasil, dan situs hasil publik |
| Dapatkah tim lain memverifikasi setiap respons model asli dan menjalankan ulang penskoran yang sama persis dari arsip prediksi mentah yang sepenuhnya publik? | Tidak; penulis menyimpan artefak tersebut untuk audit |
| Dapatkah tim lain mengulangi protokol dengan model penyedia saat ini? | Pada prinsipnya bisa, tetapi versi model, search sisi server, perilaku penyedia, dan konten web langsung akan berbeda |
| Dapatkah tim lain menciptakan kembali kondisi prospektif pada turnamen yang sama? | Tidak; hasilnya kini sudah publik, sehingga diperlukan peristiwa baru |
Keterbatasan terakhir bersifat mendasar. Setelah Piala Dunia selesai, tugas ini tidak lagi bebas kebocoran untuk run baru. Protokolnya dapat digunakan kembali, tetapi kondisi prospektif yang bersih berpindah ke peristiwa berikutnya.
Situs terpisah, WorldCupBenchmark, menawarkan perbandingan publik yang lebih sederhana: empat sistem mengunci bracket turnamen penuh sebelum pertandingan pembuka dan menerima satu poin untuk setiap prediksi yang benar. Metodologinya menyatakan bahwa penskoran pada hari pertandingan masih tertunda. Implementasi publik itu menguatkan minat terhadap evaluasi peristiwa masa depan yang dikunci, tetapi tidak memvalidasi hasil tujuh pasar WorldCup Arena atau mereproduksi protokol dossier bergulirnya.
Tes bersih berikutnya membutuhkan masa depan yang baru
Kontribusi WorldCup Arena bukanlah tabel model yang definitif. Kontribusinya adalah demonstrasi konkret bahwa satu masalah kontaminasi dapat hilang ketika evaluasi menunggu kenyataan menciptakan jawabannya.
Hasilnya sendiri kemudian memberikan label peringatan. Keenam sistem sebagian besar mengikuti konsensus yang sama dan dipengaruhi informasi bandar taruhan, urutannya bergantung pada sudut pandang skor, dan artefak publik belum mencapai catatan mentah lengkap dari pemanggilan asli. Tindak lanjut yang lebih kuat sebaiknya mendaftarkan aturan skor berbasis probabilitas terlebih dahulu, memublikasikan tanda terima prediksi dan output mentah yang tidak dapat diubah, menyertakan baseline statistik dan pasar yang sederhana, serta mengulangi protokol pada beberapa peristiwa masa depan yang tidak saling berkaitan.
Tes itu tidak dapat dijalankan ulang pada Piala Dunia 2026. Kalender telah mengubah jawabannya menjadi data pelatihan.