Benchmark Chip Jalapeño OpenAI: Apa yang Sebenarnya Ditunjukkan Angkanya

Hasil pertama yang dipublikasikan OpenAI untuk chip inference Jalapeño menunjukkan pencapaian sistem yang nyata, bukan keputusan procurement. Dalam pengujian yang dijalankan perusahaan menggunakan framework publik SemiAnalysis InferenceX, Jalapeño memberikan kombinasi throughput per kilowatt dan latensi respons yang lebih baik daripada sistem NVIDIA Blackwell yang dipilih untuk perbandingan.

Rasio utamanya cukup besar. OpenAI melaporkan 1,5 hingga 1,9 kali lebih banyak pekerjaan AI per watt pada throughput puncak dan latensi end-to-end 1,7 hingga 3,6 kali lebih rendah pada GPT-OSS 120B, DeepSeek R1 670B, dan Kimi K2.5 1T. Hasil tersebut mendukung klaim bahwa OpenAI memiliki silikon generasi pertama yang berfungsi dengan arsitektur serving yang kompetitif.

Namun, hasil tersebut tidak menetapkan harga pelanggan yang lebih rendah, penggunaan energi data center yang lebih rendah, atau alasan bagi perusahaan lain untuk mengganti armada akseleratornya. Grafik tersebut mencakup model, panjang sequence, precision, konfigurasi software, dan peringkat daya package yang ditentukan. Jalapeño belum dijual, dan OpenAI hanya mengharapkan deployment awal berskala kecil pada akhir 2026.

Jalapeño memperbaiki kedua sisi trade-off serving

Layanan inference jarang memaksimalkan satu angka. Menambah request konkuren dapat meningkatkan total throughput token, tetapi setiap pengguna mungkin menunggu lebih lama. Mengurangi batching dapat membuat satu stream terasa lebih cepat, tetapi hardware mahal menjadi kurang terpakai. Perbandingan yang berguna karena itu berbentuk kurva: berapa banyak pekerjaan agregat yang dapat diselesaikan sistem pada setiap latensi yang dapat diterima?

OpenAI menggunakan tiga workload InferenceX dengan sequence tetap. Appendix yang dipublikasikan memberi label pengujian itu sebagai input nominal 8K/output 1K dan melaporkan hasil di berbagai operating point, bukan satu tingkat concurrency yang dipilih khusus. GPT-OSS 120B dibandingkan dengan GB200; DeepSeek R1 dan Kimi K2.5 dibandingkan dengan GB300. Pengujian DeepSeek dan Kimi menggunakan MXFP4, format floating-point 4-bit yang ringkas.

Pada throughput puncak, OpenAI melaporkan rasio berikut:

Model yang diuji	Sistem pembanding	Throughput puncak Jalapeño per kW	Latensi end-to-end Jalapeño
GPT-OSS 120B	NVIDIA GB200	1,9× lebih tinggi	1,7× lebih rendah
DeepSeek R1 670B	NVIDIA GB300	1,7× lebih tinggi	3,6× lebih rendah
Kimi K2.5 1T	NVIDIA GB300	1,5× lebih tinggi	3,4× lebih rendah

Ini adalah pengukuran OpenAI, bukan reproduksi independen. Namun, framework tersebut lebih informatif daripada peak chip mentah. InferenceX mendefinisikan interaktivitas sebagai laju token streaming per pengguna dan interaktivitas end-to-end yang dinormalisasi sebagai jumlah token output dibagi latensi request penuh, termasuk waktu menuju token pertama. Metodologi yang dipublikasikan juga mengubah panjang sequence, concurrency, model, precision, framework, dan hardware—kondisi yang diperlukan agar angka inference dapat ditafsirkan.

Hasil ini penting karena ketiga model memberi tekanan pada bentuk sistem yang berbeda. GPT-OSS 120B lebih kecil daripada dua model lain; DeepSeek R1 dan model Kimi satu triliun parameter membutuhkan pekerjaan yang didistribusikan ke banyak akselerator. Laporan dari presentasi Hot Chips mengatakan OpenAI menguji Jalapeño dengan prediksi satu token, sedangkan baseline NVIDIA menggunakan prediksi multi-token dalam perbandingan yang relevan, dan OpenAI juga menyajikan perbandingan langsung yang lebih sempit untuk DeepSeek. Detail konfigurasi tersebut harus dibaca bersama rasio.

Throughput per kilowatt bukan tagihan listrik

OpenAI menormalisasi grafik dengan thermal design power (TDP) package yang dipublikasikan untuk setiap akselerator: 700 watt untuk Jalapeño, 1.200 watt untuk GB200, dan 1.400 watt untuk GB300. TDP adalah peringkat desain yang digunakan untuk perencanaan daya dan pendinginan; TDP bukan energi yang benar-benar dikonsumsi seluruh layanan selama satu run.

OpenAI mengatakan Jalapeño tetap berada pada atau di bawah 550 watt dalam workload yang diuji. Data Center Dynamics melaporkan secara independen peringkat 700 watt dan batas terukur tersebut dari presentasi Hot Chips. Namun, perbandingan menggunakan peringkat 700 watt yang dipublikasikan, bukan konsumsi lebih rendah yang diamati. Itu konservatif untuk Jalapeño pada tingkat package, tetapi tetap meninggalkan beberapa biaya di luar denominator:

• CPU host, memori, switch, storage, dan konversi daya;
• pendinginan dan overhead fasilitas lainnya;
• daya idle ketika volume request turun di bawah beban benchmark;
• request yang gagal atau diulang, pemuatan model, dan perpindahan cache; serta
• energi dan waktu yang diperlukan untuk menghasilkan hasil tugas yang diterima.

Pemisahan tersebut berlaku dua arah. Perbandingan package-TDP mencegah satu akselerator mendapat kredit dari pembacaan sesaat yang menguntungkan sementara akselerator lain menggunakan peringkat. Perbandingan itu juga tidak dapat mendukung klaim tentang joule per token yang terukur atau total daya fasilitas. Dokumentasi InferenceX memperlakukan hal itu sebagai metrik terpisah dan mengekspos joule-per-token serta perhitungan daya kustom ketika run menyediakan telemetri yang diperlukan.

Angka procurement biasanya adalah total cost of ownership, bukan token per watt package. Harga hardware, networking, memori, kepadatan rack, kapasitas yang dicadangkan, utilisasi, tenaga kerja software, downtime, dan pembiayaan dapat melampaui perbedaan listrik langsung. OpenAI belum menerbitkan cukup input tersebut untuk menghitung keunggulan biaya bagi pelanggan, dan tidak ada harga Jalapeño karena chip itu ditujukan untuk infrastruktur OpenAI sendiri.

Arsitektur menjelaskan arahnya, bukan setiap rasio

Serving large language model memiliki setidaknya dua fase hardware yang berbeda. Saat prefill, sistem memproses prompt dan menjalankan komputasi paralel yang substansial. Saat decode, sistem menghasilkan token satu per satu dan berulang kali membaca bobot model serta key-value cache—state attention yang tersimpan dari token sebelumnya. Decode sering dibatasi bandwidth memori dan perpindahan data, bukan aritmetika saja.

OpenAI mengatakan Jalapeño melakukan co-design pada compute, high-bandwidth memory, networking, kernel, dan software berskala rack di sekitar fase-fase tersebut. State model dapat tetap lokal sementara sistem mengubah resource yang aktif, sehingga transfer antara pool yang terspesialisasi secara terpisah berkurang. Presentasi Hot Chips menjelaskan jaringan lokal berlatensi rendah yang menghubungkan 128 akselerator dan domain lebih besar yang mencakup 2.048 chip.

Mekanisme ini membuat arah benchmark masuk akal: lebih sedikit waktu menunggu state model dapat memperbaiki latensi respons dan membuat lebih banyak budget daya melakukan pekerjaan berguna. Mekanisme itu tidak mengisolasi fitur yang menghasilkan setiap peningkatan. Tidak ada ablation publik yang mempertahankan workload tetap sambil menghapus satu per satu penempatan memori lokal Jalapeño, topologi jaringan, optimasi compiler, atau kernel khusus model.

OpenAI juga mengatakan setiap keluarga model membutuhkan kernel dan pekerjaan optimasi baru. Itu normal untuk software akselerator, tetapi berarti “mendukung tiga model” adalah bukti portabilitas di antara port tersebut, bukan bukti bahwa setiap arsitektur akan mencapai frontier yang sama. Tindak lanjut paling kuat adalah menerbitkan resep benchmark yang tepat dan trace daya mentah untuk titik Jalapeño, lalu memungkinkan operator independen mengulangi run ketika hardware tersedia.

Empat pertanyaan mengubah grafik menjadi keputusan deployment

Tim yang mengevaluasi platform inference apa pun—bukan hanya Jalapeño—dapat menjaga kejujuran benchmark dengan mencatat empat lapisan bukti.

Lapisan keputusan	Catatan minimum	Mengapa rasio utama tidak cukup
Workload	Revisi model, precision, panjang input/output, campuran prompt, concurrency, batching, dan kebijakan speculative decoding yang tepat	Agent frontier model dan respons chatbot singkat menekan bottleneck yang berbeda.
Pengalaman pengguna	Waktu menuju token pertama, waktu antartoken, latensi end-to-end, serta nilai p50/p95/p99 pada beban normal dan burst	Rata-rata dapat menyembunyikan request lambat yang menentukan apakah layanan terasa andal.
Kapasitas dan energi	Token atau tugas yang diterima per detik, daya akselerator dan sistem terukur, daya idle, utilisasi, dan joule per tugas yang diterima	TDP package tidak menunjukkan energi rack atau biaya pekerjaan yang gagal.
Ekonomi dan operasi	Biaya akuisisi atau sewa, dukungan software, uptime, tingkat kegagalan, staffing, kapasitas rollout, dan biaya per tugas yang diterima	Sistem cepat yang tidak tersedia—atau membutuhkan porting ekstensif—tidak dapat melayani permintaan hari ini.

Plot throughput terhadap latensi, bukan membandingkan satu peak. Ulangi pengujian pada panjang konteks dan tingkat concurrency yang benar-benar dilihat layanan. Ukur tail latency karena langkah agent yang berurutan mengakumulasi outlier lambat. Kemudian hitung energi dan biaya untuk output yang diterima, bukan sekadar token yang dihasilkan.

Disiplin yang sama diperlukan untuk deployment kecil. Panduan kami tentang Qwen3.8-27B pada GPU 16GB memisahkan kapasitas bobot, memori konteks, kualitas tugas, throughput, dan total biaya operasi. Skalanya berbeda, tetapi kesalahannya sama: benchmark yang bersahabat bagi hardware dapat menjawab pertanyaannya sendiri dengan benar sambil membiarkan pertanyaan pembeli tanpa jawaban. Penjelasan evaluasi AI kami yang lebih luas menunjukkan cara memulai dari keputusan dan memilih pengukuran yang dapat mendukungnya.

Deployment, bukan rasio lain, adalah pengujian berikutnya

OpenAI dan Broadcom mengumumkan deployment awal pada akhir 2026. Richard Ho, kepala hardware OpenAI, memberikan jadwal yang lebih terbatas kepada TechCrunch: volume sangat kecil pada akhir 2026, disusul deployment yang lebih berarti pada 2027. OpenAI juga mengatakan akan terus men-deploy akselerator dari NVIDIA dan mitra lain.

Hal ini membuat Jalapeño penting secara strategis bagi OpenAI tanpa menjadikannya opsi pembelian saat ini bagi pihak lain. Bukti penentu berikutnya adalah apakah chip tersebut dapat mempertahankan keunggulan latensi dan efisiensinya di traffic produksi, model yang berubah, utilisasi berkelanjutan, kegagalan, dan stack software yang semakin matang. Pengukuran independen akan memperkuat kasusnya; harga layanan dan reliabilitas akan menunjukkan apakah peningkatan hardware sampai ke pelanggan.

Untuk saat ini, kesimpulan yang tepat sudah berguna. Jalapeño menggeser frontier inference yang dipublikasikan untuk tiga workload tertentu dalam kondisi pengujian OpenAI. Chip itu belum menggeser batas procurement karena ketersediaan, energi seluruh sistem, reliabilitas operasional, dan total biaya masih belum diukur atau belum diungkapkan.

Sumber

1. OpenAI's first Jalapeño benchmark results
2. OpenAI and Broadcom Jalapeño announcement
3. SemiAnalysis InferenceX benchmark methodology and metrics
4. TechCrunch report on Jalapeño performance and deployment timing
5. Data Center Dynamics report from the Hot Chips presentation
6. ServeTheHome report from the Hot Chips presentation