AI Gateway User Insights Menandai Anomali Pengeluaran—Bukan Menghentikannya

AI Gateway User Insights milik Cloudflare dapat menandai sesi dengan biaya yang luar biasa tinggi untuk seseorang atau sebuah agen. Fitur ini tidak menentukan apakah aktivitas tersebut berbahaya, mengidentifikasi akar masalah, atau menghentikan permintaan lain.

Peringatan hanya aktif ketika sebuah sesi melewati dua ambang biaya sekaligus: biayanya lebih dari dua kali biaya sesi p95 bergulir 30 hari milik pengguna tersebut dan berada di atas biaya sesi p99 organisasi. Dalam bahasa sederhana, sesi itu harus tidak biasa bagi identitas tersebut sekaligus sangat mahal di seluruh organisasi. Operator tetap harus memverifikasi identitas itu mewakili siapa, memeriksa permintaan di sekitarnya, menentukan apakah aktivitasnya sah, dan memilih tindakan pembendungan.

Pemisahan itulah bagian yang berguna dari rilis ini. User Insights adalah tampilan triase, bukan sistem respons insiden otonom.

Dua ambang menyaring jenis noise yang berbeda

Cloudflare membuat User Insights tersedia secara umum pada 5 Agustus 2026 dan menyatakan bahwa fitur ini tersedia bagi setiap pelanggan AI Gateway tanpa biaya tambahan. Integrasi Cloudflare Access pendamping, yang dapat menambahkan identitas terverifikasi ke sebuah permintaan gateway, diluncurkan dalam beta terbuka.

Aturan anomali bekerja pada sesi, bukan permintaan individual. Untuk setiap pengguna, Cloudflare menghitung persentil ke-95, atau p95, dari biaya sesi selama 30 hari sebelumnya. P95 sebesar USD 12 secara kasar berarti 95% sesi pengguna yang diamati berbiaya USD 12 atau kurang. Dengan demikian, ambang relatifnya adalah apa pun yang lebih besar dari USD 24. Karena garis dasar terus bergulir, perubahan yang menetap dalam pekerjaan normal juga dapat menggeser ambang tersebut.

Uji personal itu belum cukup. Sesi yang sama juga harus memiliki biaya lebih besar daripada p99 organisasi, yaitu tingkat yang hanya dilampaui oleh 1% sesi termahal. Dokumentasi User Insights Cloudflare saat ini menyatakan bahwa kedua perbandingan harus lolos.

Dibandingkan dengan p95 personal 30 hari	Dibandingkan dengan p99 organisasi	Hasil User Insights	Yang diketahui operator
Pada atau di bawah 2×	Pada atau di bawah	Tidak ditandai	Tidak ada gerbang biaya yang terlewati. Ini tidak mengatakan apa pun tentang risiko non-biaya.
Lebih besar dari 2×	Pada atau di bawah	Tidak ditandai	Tidak biasa bagi identitas ini, tetapi berada di bawah batas bawah biaya tinggi seluruh organisasi.
Pada atau di bawah 2×	Di atas	Tidak ditandai	Mahal di seluruh organisasi, tetapi rutin dalam riwayat terbaru identitas ini.
Lebih besar dari 2×	Di atas	Ditandai	Sesi melewati kedua gerbang biaya. Niat dan penyebabnya tetap tidak diketahui.

Bayangkan tiga sesi fiktif dalam organisasi dengan p99 sebesar USD 180. Sesi USD 40 dari pengguna dengan p95 USD 12 lebih dari dua kali baseline mereka, tetapi tetap di bawah USD 180 sehingga tidak ditandai. Sesi USD 220 dari pengguna dengan p95 USD 150 mahal di seluruh organisasi, tetapi tidak lebih dari dua kali baseline pengguna tersebut. Sesi USD 220 dari agen dengan p95 USD 30 melewati kedua gerbang dan ditandai.

Contoh-contoh itu menjelaskan aturannya; contoh tersebut bukan pengukuran Cloudflare atau anggaran yang disarankan. Ambang ini disetel untuk mengurangi peringatan yang bising, yang berarti fitur ini juga dapat melewatkan penyalahgunaan bermakna dengan biaya rendah, kenaikan bertahap yang terserap garis dasar bergulir, atau sesi mahal yang normal bagi pengguna berat.

Cakupan identitas menentukan seberapa banyak informasi yang dapat diberikan peringatan

Dasbor dapat menampilkan pengguna aktif, permintaan, token, pengeluaran median, konsentrasi aktivitas tinggi, pengguna yang perlu ditinjau, dan cakupan identitas. Tampilan penggunanya menambahkan total pengeluaran, permintaan, dan token, permintaan yang di-cache dan mengalami error, perkiraan jumlah sesi, model dan penyedia teratas, waktu terakhir terlihat, hari aktif, serta cakupan identitas per pengguna.

Bidang-bidang tersebut baru menjadi spesifik bagi seseorang atau agen ketika permintaan membawa metadata identitas yang berguna. Tanpa identitas, Cloudflare mengelompokkan penggunaan di bawah satu pengenal anonim dan tidak dapat membedakan individu.

Ada dua jalur identitas yang secara material berbeda:

Domain kustom yang dilindungi Access dapat menambahkan cf.user_id, yaitu subjek terverifikasi dari Cloudflare Access JSON Web Token yang valid. Dokumentasi Access Cloudflare menyatakan bahwa permintaan token layanan tidak menerima bidang ini karena tidak mewakili seorang pengguna Access individual.
Klien dapat melampirkan pengenal pengguna atau agen miliknya sendiri melalui metadata kustom. Itu dapat meningkatkan atribusi, tetapi aplikasi—bukan Cloudflare Access—yang menentukan dan mengirimkan nilainya. Perlakukan nilai tersebut sebagai tepercaya hanya sejauh sistem pengirim mencegah pemalsuan atau penghilangan.

Peringatan yang terkait dengan cakupan identitas 42% bukanlah temuan tentang 100% lalu lintas. Sebanyak 58% yang hilang dapat menyembunyikan aktivitas lain atau mencampur beberapa pemanggil ke dalam kelompok anonim. Catat cakupan sebelum menarik kesimpulan.

Analisis Shogoworks independen menggambarkan pergeseran praktisnya sebagai perpindahan analisis dari kunci API menuju individu. Analisis itu juga mencatat konsekuensi tata kelolanya: penggunaan yang terhubung ke identitas dapat mengungkap pola pekerjaan seorang karyawan. Karena itu, pembatasan tujuan dan kontrol akses adalah bagian dari desain observabilitas, bukan pekerjaan administrasi yang ditambahkan belakangan.

Apa yang dibuktikan oleh peringatan User Insights—dan apa yang tidak

Jika dasbor dan log yang mendasarinya lengkap, sebuah peringatan mendukung pernyataan yang sempit: AI Gateway mengatribusikan sebuah sesi kepada suatu identitas, memperkirakan biayanya, dan menemukan bahwa biaya tersebut berada di atas kedua ambang saat ini.

Peringatan itu sendiri tidak membuktikan hal-hal berikut:

kredensial dicuri;
agen masuk ke loop percobaan ulang;
pengguna melanggar kebijakan;
data sensitif mencapai penyedia model;
Cloudflare memblokir sesi atau permintaan berikutnya;
tagihan penyedia akan persis sama dengan estimasi gateway; atau
identitas yang dipilih memiliki setiap permintaan dalam sesi tersebut.

Cloudflare sangat terus terang tentang batas ini: User Insights tidak menentukan niat dan tidak memblokir siapa pun. Dokumentasi perusahaan untuk fitur batas pengeluaran terpisah juga menyebut pelacakan biaya sebagai estimasi berdasarkan upaya terbaik dan meminta pelanggan menggunakan dasbor penyedia untuk penagihan yang tepat.

Karena itu, peringatan seharusnya membuka investigasi, bukan menutupnya. Bentuk biayanya dapat membedakan beberapa permintaan yang sangat panjang dari ribuan kegagalan singkat, dan perubahan model atau penyedia dapat menjelaskan pengeluaran yang lebih tinggi tanpa kenaikan volume apa pun. Cakupan identitas kemudian menentukan apakah pengamatan itu milik orang yang terverifikasi, metadata yang diberikan aplikasi, atau kelompok anonim.

Dokumentasi pencatatan AI Gateway Cloudflare menyatakan bahwa log tersimpan dapat mencakup prompt, respons model, penyedia, timestamp, status, penggunaan token, biaya, durasi, dan agen pengguna. Bukti tersebut dapat memperjelas peristiwa, tetapi juga dapat mengekspos konten sensitif; metadata mungkin sudah cukup untuk menjelaskan banyak anomali tanpa membuka prompt atau completion.

Pembendungan tetap merupakan fitur produk yang terpisah. Batas pengeluaran dapat mengembalikan HTTP 429 setelah anggaran tercapai, sementara pembatas laju seluruh gateway membatasi volume permintaan. Batas pengeluaran pada akhirnya konsisten dan dapat terlampaui sebentar oleh lalu lintas bersamaan, sedangkan pembatas laju seluruh gateway dapat menginterupsi klien yang berjalan normal. User Insights mempermudah penemuan penyimpangan mahal; fitur ini tidak menentukan konsekuensi mana yang dibenarkan.

Dua ambang menyaring jenis noise yang berbeda

Cakupan identitas menentukan seberapa banyak informasi yang dapat diberikan peringatan

Apa yang dibuktikan oleh peringatan User Insights—dan apa yang tidak

Sumber

Ikuti artikel Berita AI terbaru

Lanjut membaca

HarnessRisk Menunjukkan Mengapa Satu Demo Prompt Injection Tidak Dapat Mengukur Keamanan Agen

Model Hardware Standard Anthropic adalah Antarmuka, Bukan Sertifikasi Keselamatan

Optional OAuth Scope Cloudflare Membuat Consent Lebih Sempit, Bukan Otomatis Aman