Hasil AI On-Device Pipette adalah Uji Deployment, Bukan Peringkat Chip
Pipette menerbitkan hasil latensi, throughput, memori, dan kualitas pada banyak konfigurasi, tetapi ponsel, runtime, dan kuantisasi yang berbeda bukanlah satu peringkat yang benar-benar sebanding.
Liquid AI dan Artificial Analysis merilis Pipette pada 24 Agustus sebagai benchmark terbuka untuk model bahasa kecil yang berjalan di ponsel dan komputer. Unit yang berguna bukanlah nama model, melainkan deployment lengkap: model, kuantisasi, runtime, perangkat, pengaturan runtime, dan workload.
Desain ini memperbaiki masalah yang umum dalam perbandingan AI on-device. Skor kualitas full-precision dari server tidak menjelaskan apakah model terkuantisasi muat di ponsel, merespons sebelum pengguna kehilangan kesabaran, atau melambat drastis ketika prompt bertambah panjang. Pipette menempatkan dimensi-dimensi itu dalam satu dashboard—tetapi menaruhnya berdampingan tidak membuat setiap baris dapat dibandingkan secara langsung.
Keterbatasan utamanya sederhana: grafik lintas perangkat adalah observasi deployment, bukan peringkat chip, dan skor kualitas yang ditampilkan di samping performa ponsel diukur melalui jalur evaluasi yang terpisah.
Pipette mengukur sebuah konfigurasi deployment
Pengumuman peluncuran Pipette menyebut bahwa dataset publik awal berisi lebih dari 1.000 kombinasi di lebih dari 30 model, beberapa kuantisasi, build llama.cpp untuk macOS, iOS, Windows, dan Android, serta panjang prompt dari 256 hingga 8.192 token. Pipette melaporkan latensi, kecepatan pemrosesan prompt, kecepatan generasi token, dan memori puncak pada perangkat target, lalu memasangkan baris yang kompatibel dengan evaluasi kualitas tugas.
Dimensi tambahan bukan metadata yang boleh diabaikan setelah menemukan model. Dimensi itu dapat mengubah hasil:
| Dimensi | Apa yang diubah | Apa yang harus tetap sama untuk perbandingan yang bersih |
|---|---|---|
| Artefak model dan kuantisasi | Memori bobot, kualitas output, dan kadang-kadang kecepatan | Artefak model dan format kuantisasi yang persis sama |
| Runtime | Kernel, penggunaan akselerator, batas pengukuran, dan fitur yang didukung | Nama runtime, build, backend, dan flag yang relevan |
| Perangkat dan sistem operasi | Memori yang tersedia, jalur prosesor, counter, dan perilaku daya | Kelas perangkat dan build OS yang persis sama |
| Bentuk workload | Pekerjaan prefill, pekerjaan generasi, tekanan konteks, dan memori key-value cache | Token input, token output, definisi benchmark, dan alokasi konteks |
| Kondisi perangkat | Thermal throttling dan beban latar belakang | Daya, pendinginan, readiness gate, dan kondisi idle yang sebanding |
| Evaluasi kualitas | Kemampuan yang diwakili skor | Versi dataset, scorer, mode berpikir, model, dan kuantisasi |
Panduan perbandingan hasil Pipette lebih ketat daripada sekadar melihat leaderboard: flag runtime, Flash Attention, jumlah thread, jumlah layer GPU, mode berpikir, kuantisasi, dan konfigurasi token adalah bagian dari konfigurasi. Pengaturan yang berubah berarti eksperimen yang berubah.
Itulah sebabnya “Model A menghasilkan 80 token per detik” belum lengkap. Pernyataan yang berguna lebih mirip: “artefak terkuantisasi ini, pada perangkat dan build runtime ini, menghasilkan 100 token output dengan laju tersebut setelah prompt 2.048 token dalam kondisi laboratorium yang didokumentasikan.”
Latensi, prefill, dan decode menjawab pertanyaan yang berbeda
Inferensi model bahasa memiliki dua fase utama. Prefill memproses prompt input sebelum token pertama dihasilkan. Decode menghasilkan respons satu token setiap kali. Dokumen panjang dan jawaban singkat membebani prefill; prompt singkat dan jawaban panjang lebih menekankan decode.
Metodologi performa Pipette melaporkan kedua fase ini secara terpisah. Benchmark decode standarnya menghasilkan 100 token output, sedangkan latensi end-to-end menghasilkan 256 token. Run pengukuran menggunakan greedy decoding, membuang perilaku startup dan warm-up, serta melaporkan mean dan sample standard deviation dari lima pengulangan yang diukur.
Pilih metrik yang sesuai dengan pertanyaan produk:
| Pertanyaan produk | Metrik Pipette | Baca bersama |
|---|---|---|
| Seberapa cepat sistem menyerap prompt? | Throughput prefill, dalam token input per detik | Panjang input dan jalur runtime yang persis |
| Seberapa cepat teks muncul setelah generasi dimulai? | Throughput decode, dalam token output per detik | Panjang output dan perilaku respons model |
| Berapa lama permintaan tetap yang lengkap selesai? | Latensi end-to-end | Kedua jumlah token dan overhead klien yang tercakup |
| Apakah deployment dapat dimuat? | Memori puncak | Counter khusus platform dan panjang konteks |
| Apakah artefak mempertahankan kemampuan yang berguna? | IFBench, GPQA Diamond, atau MATH-500 | Tugas yang diwakili dan jalur evaluasi terpisah |
Jangan memperkirakan waktu respons yang terlihat pengguna dengan menjumlahkan dua angka throughput yang sudah dibulatkan. Pipette mencatat bahwa jalur end-to-end mungkin mencakup tokenisasi dan overhead permintaan lokal yang tidak termasuk dalam laju fase terisolasi. Ukur aplikasi sebenarnya juga jika startup, pemuatan model, penyusunan prompt, streaming, atau pekerjaan UI berpengaruh.
Varians juga harus masuk ke dalam keputusan. Pipette menyarankan agar standard deviation di atas 5% dari mean diperlakukan sebagai bukti run yang bising atau tidak stabil. Lima pengulangan yang berdekatan tidak membuktikan performa populasi secara luas, tetapi lebih informatif daripada rata-rata yang dibulatkan dan menyembunyikan satu run yang mengalami throttling.
Skor ponsel dan skor kualitas berasal dari mesin yang berbeda
Kesalahan paling mudah dalam membaca grafik Pipette adalah menganggap setiap nilai yang diplot dihasilkan pada ponsel yang dipilih. Performa diukur pada perangkat yang ditampilkan. Hasil kualitas yang saat ini dipublikasikan dihasilkan secara terpisah dengan llama.cpp pada sistem NVIDIA H100 80GB, lalu dicocokkan dengan hasil perangkat ketika model dan kuantisasi kompatibel.
Pencocokan ini berguna. Tim dapat menanyakan apakah kuantisasi yang lebih kecil menghemat cukup banyak memori dan waktu tanpa kehilangan terlalu banyak performa tugas. Namun, pencocokan ini tidak membuktikan bahwa ponsel menjalankan MATH-500, GPQA Diamond, atau IFBench dengan kecepatan yang ditampilkan pada sumbu performa. Metodologi publikasi Pipette juga menyatakan bahwa mengubah perangkat performa tidak memilih baris kualitas baru.
Cakupan kualitas lebih sempit daripada “bagus untuk AI mobile.” Set peluncuran menguji instruction following, matematika kompetisi, dan penalaran sains. Keterbatasan Pipette yang didokumentasikan menyatakan bahwa benchmark ini tidak komprehensif untuk perilaku agentik, tugas yang kaya pengetahuan, pekerjaan multimodal, atau penggunaan lain yang berorientasi perangkat. Tim yang mengirimkan fitur summarization, ekstraksi, tool call, suara, atau visi tetap memerlukan evaluasi yang dibangun dari input dan biaya kegagalan fitur tersebut.
Kuantisasi membuat pemisahan ini penting untuk dipertahankan. Kuantisasi mengurangi presisi yang digunakan untuk menyimpan bobot model, sering menurunkan penggunaan memori dan kadang meningkatkan kecepatan, tetapi kehilangan kualitas bergantung pada artefak dan tugas. Bandingkan kuantisasi dalam satu model dan deployment target, lalu uji tugas aplikasi. Benchmark umum adalah bukti, bukan acceptance test untuk janji produk.
Grafik lintas perangkat bukan adu prosesor
Pipette secara eksplisit merekomendasikan perbandingan dalam perangkat yang sama. Jalur Android dan iOS awal bukan padanan yang dikontrol perangkat keras. Metodologi cakupan menyebut bahwa hasil Android publik menggunakan jalur command-line llama.cpp yang hanya memakai CPU, dengan Flash Attention dinonaktifkan dan tanpa layer GPU. Pengukuran iOS yang dipublikasikan berjalan di dalam aplikasi dengan Metal dan pengaturan yang tidak memiliki padanan di Android.
Platform juga memengaruhi pengukuran. Counter memori puncak tidak berarti persis sama di semua tempat, dan sinyal thermal publik iOS terlalu kasar untuk proses laboratorium Pipette. Run iOS yang dipublikasikan menggunakan build internal yang sadar thermal dan dapat membaca suhu chip, kemampuan yang tidak dapat direproduksi secara persis oleh aplikasi publik.
Pipette mengendalikan sebagian noise lingkungan. Metodologi kondisi perangkat memeriksa sinyal thermal dan beban sebelum pengulangan waktu, menjaga ponsel dalam fleet tetap terhubung ke daya listrik, dan menggunakan pendinginan eksternal. Kontrol ini memperbaiki perbandingan di dalam lab. Pendinginan tetap dikelola operator dan tidak disimpan pada setiap baris hasil, sehingga dataset itu sendiri tidak dapat membuktikan bahwa dua baris ponsel yang sewenang-wenang memiliki kondisi fisik yang identik.
Hands-on independen GIGAZINE menunjukkan bahwa aplikasi iPhone publik dapat mengunduh model dan menjalankan workload benchmark lokal. Ini merupakan konfirmasi yang berguna atas pengalaman klien, bukan replikasi independen atas seluruh dataset laboratorium Liquid AI atau instrumentasi thermal iOS privat.
Jika keputusannya adalah “konfigurasi mana yang harus digunakan aplikasi iPhone kami?”, saring ke iPhone yang didukung dan bandingkan konfigurasi di sana. Jika keputusannya adalah “chip ponsel mana yang lebih cepat?”, jalur lintas platform Pipette saat ini tidak mengisolasi chip dari perbedaan runtime, backend, flag, sistem operasi, daya, pendinginan, dan counter. Angka yang lebih besar dapat menggambarkan deployment lengkap yang dipublikasikan tanpa mengidentifikasi komponen yang menyebabkannya.
Apa yang dapat dibuktikan Pipette hari ini
Pipette membuat pemilihan model on-device lebih mudah diaudit dengan menerbitkan workload berversi, hasil tingkat konfigurasi, varians, dan submission yang dapat ditelusuri. Pipette dapat menunjukkan bahwa satu konfigurasi yang diuji lebih cepat, lebih kecil, atau lebih kuat pada evaluasi yang tercakup dibanding konfigurasi lain dalam kondisi yang tercatat.
Pipette tidak dapat mengubah jalur platform yang berbeda menjadi peringkat prosesor yang terkontrol. Pipette tidak dapat membuat tiga pengujian kualitas yang dijalankan di server mewakili setiap fitur mobile. Dan karena hasil terverifikasi saat ini berasal dari lab Liquid AI sementara publikasi komunitas masih beta, Pipette belum menggambarkan distribusi perangkat pengguna biasa yang panas, sibuk, dan menggunakan daya baterai.
Bukti bermakna berikutnya akan berupa submission yang dapat direproduksi secara independen dengan label kondisi yang jelas dan cakupan perangkat yang lebih luas. Sampai saat itu, Pipette adalah permukaan shortlist dan perbandingan yang kuat, tetapi setiap barisnya tetap menggambarkan deployment lengkap—bukan model atau prosesor yang berdiri sendiri.