ASIC 1.000 TOPS Waymo Mengesankan—dan Bukan Benchmark

Waymo mengungkapkan bahwa ASIC 5 nanometer yang dibuat khusus menghasilkan lebih dari 1.000 TOPS—triliun operasi per detik—untuk pemrosesan front-end sensor dan model machine learning. Angka itu terdengar seperti hasil benchmark. Bukan.

Pengungkapan tersebut tidak menyebutkan presisi numerik di balik hitungan, asumsi sparsitas, bandwidth memori, daya berkelanjutan, utilisasi, biaya, atau latensi yang direproduksi secara independen. Waymo sendiri mengarahkan pembaca pada pertanyaan yang lebih berguna: seberapa besar performa yang dicapai sistem lengkap dalam operasi batch rendah, dari input sensor pertama hingga suatu tindakan.

Peak TOPS adalah satu input kapasitas, bukan hasil sistem. Tanpa latensi end-to-end, perilaku batch, perpindahan data, energi dan termal, ketahanan, serta kualitas pada performa yang tercapai, dua accelerator dengan headline yang sama dapat tidak cocok untuk workload satu sama lain—atau sama sekali tidak dapat dibandingkan.

Yang diungkap Waymo, dan yang masih tidak diketahui

Dalam tulisan engineering 20 Agustus, Waymo mengatakan komputer onboard-nya memproses stream lidar, radar, dan kamera mentah, memasangkan hardware ML kustom dengan CPU, GPU, dan accelerator lain, serta menangani 13 kamera resolusi tinggi secara bersamaan. Waymo menjelaskan sistem berpendingin cairan dengan dua engine komputasi independen yang biasanya menjalankan workload paralel dan dapat mengambil alih setelah terjadi fault.

ASIC kustom tersebut berada dekat bagian depan pipeline itu. Waymo mengatakan ASIC itu memproses dan memadukan data sensor mentah, melakukan pekerjaan termasuk temporal denoising untuk persepsi cahaya rendah, dan memasok engine inference khusus yang menjalankan model sensor fusion. Pilihan katanya penting: perusahaan mengatakan ASIC ini, dalam bentuk jamak, menghasilkan lebih dari 1.000 TOPS. Waymo tidak menyebutkan berapa chip yang berkontribusi pada angka tersebut atau memberi angka per chip.

Reuters secara independen melaporkan bahwa silikon kustom tersebut sudah diproduksi untuk generasi robotaxi terbaru Waymo dan TSMC membuatnya dengan proses 5 nm. Reuters mengulangi perbandingan dengan sistem autonomous-driving Nvidia saat ini, tetapi bukti publik tidak menyediakan kondisi presisi, workload, daya, atau latensi yang sepadan untuk perbandingan itu.

Detail yang diketahui dan belum diungkap dalam pengumuman komputasi AI edge kustom Waymo

Diungkap ke publik	Masih belum diungkap	Mengapa kesenjangan ini mengubah keputusan
Lebih dari 1.000 TOPS agregat dari ASIC kustom	Presisi, sparsitas, aturan penghitungan operasi, jumlah chip, dan utilisasi	Angka peak tidak dapat dinormalisasi atau diubah menjadi kecepatan model yang tercapai.
Proses 5 nm dan peran front-end sensor	Ukuran die, kapasitas dan bandwidth memori, interface, yield, dan biaya	Ukuran node saja tidak mengungkap batas perpindahan data atau ekonomi sistem.
Penekanan pada batch rendah dan latensi piksel-ke-aktuasi yang lebih rendah	Workload, prosedur pengujian, nilai latensi, distribusi, dan reproduksi independen	Klaim latensi tidak dapat dibandingkan tanpa input, target kualitas, dan persentil yang sama.
Pendinginan cairan dan engine komputasi redundan	Watt berkelanjutan, batas termal, waktu failover, kapasitas terdegradasi, dan uji pemulihan	Operasi peak dan operasi toleran fault dapat memiliki rentang performa berbeda.

Tinjauan independen The Next Web (bahasa Inggris) mencapai batas yang berguna: Waymo masih menyebut Nvidia dan AMD sebagai pemasok dan menyebut komputer lengkapnya sebagai sistem heterogen. Silikon kustom menambahkan front end khusus; pengungkapan ini tidak mendukung klaim yang lebih sederhana bahwa satu chip baru menggantikan bagian lain dari komputer onboard.

1. 1

   Klaim puncak

   Operasi per detik dalam kondisi yang tidak diungkapkan

2. 2

   Kerja akselerator yang tercapai

   Kerja model berguna setelah memperhitungkan presisi, sparsitas, dan utilisasi

3. 3

   Hasil sistem

   Keputusan benar yang disampaikan dalam batas latensi dan daya nyata

• LatensiUjung ke ujung, termasuk persentil ekor
• BatchKonkurensi dan pola kedatangan
• DataMasukan sensor dan perpindahan memori
• EnergiDaya berkelanjutan dan batas termal
• KetahananMode terdegradasi dan pemulihan
• KualitasAkurasi pada kinerja yang dicapai

TOPS menghitung aritmetika, bukan deadline

Satu TOPS berarti satu triliun operasi yang dihitung per detik. Itu adalah properti accelerator dalam kondisi tertentu, bukan waktu yang dibutuhkan aplikasi untuk menghasilkan hasil yang benar.

Bahkan konversi kasar membutuhkan lebih banyak informasi. Jika satu jalur model memerlukan N operasi yang dihitung dan accelerator memiliki rate peak P, compute floor yang diidealkan adalah N / P. Jalur nyata lebih dekat dengan:

end-to-end time = input + preprocessing + model compute + data movement
                + postprocessing + scheduling + action

model compute ≈ counted operations / (peak rate × achieved utilization)

Kedua baris itu bukan prediksi untuk Waymo. Keduanya menunjukkan apa yang dihilangkan headline TOPS. Presisi numerik mengubah jumlah aritmetika yang dapat dikeluarkan chip. Sparsitas terstruktur dapat membuat hardware melewati pekerjaan bernilai nol yang dipilih. Utilisasi turun ketika model tidak dapat membuat semua unit tetap sibuk. Transfer memori, ingest sensor, orkestrasi, dan postprocessing dapat mendominasi meskipun accelerator cepat.

Batch size mengubah jawabannya lagi. Service data center dapat mengelompokkan request untuk menaikkan throughput, dengan menerima sebagian queueing dan delay per request. Kendaraan yang memproses frame sensor baru tidak dapat menunggu tanpa batas untuk batch yang menguntungkan. Bab inference JAX Scaling Book membuat pembedaan umum yang sama untuk serving transformer: latensi menjadi tujuan kelas utama selama inference, sedangkan batching dan paralelisme membentuk ulang throughput.

Inilah mengapa angka 1.000 TOPS menarik tetapi tidak lengkap. Angka itu mengatakan Waymo merancang kapasitas aritmetika khusus yang besar. Angka itu tidak mengatakan seberapa cepat atau efisien kendaraan mengubah satu rangkaian input sensor menjadi satu tindakan yang dapat diterima.

TOPS yang dapat dibandingkan membutuhkan kondisi yang dapat dibandingkan

Perbandingan yang dapat dipertanggungjawabkan memerlukan workload dan ambang kualitas yang sama, aturan presisi numerik dan sparsitas, pola batch dan concurrency, batas latensi, kondisi daya dan pendinginan, mode operasi, serta stack software yang sama. Jika kondisi itu tidak selaras, angka-angka tersebut menggambarkan profil sistem yang terpisah, bukan pemenang dan pecundang.

Waymo mengatakan akan membahas pekerjaan komputasinya di Hot Chips. Pada pemeriksaan bukti untuk artikel ini, 24 Agustus pukul 08:10 Asia/Jakarta, tulisan engineering publik tersebut masih menyisakan spesifikasi penting untuk perbandingan di atas. Materi mendatang dapat mengisi sebagian baris: campuran presisi, bandwidth memori, daya berkelanjutan, distribusi latensi yang tercapai, gate kualitas model, atau hasil mode terdegradasi.

Sampai saat itu, penghilangan tersebut sendiri adalah kesimpulannya. Waymo telah mengungkap program silikon kustom yang serius dan arsitektur sistem yang dibentuk oleh latensi, pendinginan, dan redundansi. Waymo belum menerbitkan benchmark yang dapat direproduksi. Produk lain dengan label 1.000 TOPS tidak akan menyelesaikan perbandingan; hasil sistem terukur di balik kedua angka tersebut masih belum diketahui.

Sumber

1. Waymo: A look under our trunk—what’s in our compute
2. Reuters: Waymo builds custom chip for robotaxis
3. The Next Web: Waymo built its own robotaxi chip and published its supplier list
4. MLCommons: A new automotive benchmark for MLPerf Inference v5.0
5. MLCommons: MLPerf Inference Edge benchmark
6. JAX Scaling Book: All About Transformer Inference