Reviewer Manusia yang Tidak Dapat Membatalkan Keputusan Model Bukanlah Kontrol

Seseorang yang mengeklik setujui setelah sistem otomatis secara efektif menetapkan hasil bukanlah human review yang bermakna. Reviewer memerlukan cukup bukti dan waktu untuk membuat penilaian independen, wewenang untuk menghentikan atau mengubah hasil, alasan yang tercatat, dan jalur banding yang masih dapat memperbaiki keputusan.

Itulah pelajaran praktis dari keputusan penegakan yang disengketakan terhadap Uber. Pada 21 Agustus, Otoritas Perlindungan Data Belanda mengatakan telah mendenda Uber €824,99 juta karena keputusan akun pengemudi yang sepenuhnya otomatis dan pemberitahuan yang tidak memadai antara 2018 dan 2022. Otoritas perlindungan data Prancis, CNIL, yang bekerja sama dalam kasus ini, juga menjelaskan penonaktifan sementara dan permanen yang dilakukan tanpa intervensi manusia. Uber membantah temuan tersebut dan mengatakan kebijakan yang relevan bersifat historis.

Status keberatan memerlukan catatan. Pengumuman berbahasa Belanda dari otoritas tersebut mengatakan Uber mengumumkan keberatan administratif. Versi bahasa Inggrisnya mengatakan banding telah diajukan, sementara AP melaporkan bahwa Uber mengatakan akan mengajukannya. Sumber publik yang ditinjau pada 24 Agustus tidak mengidentifikasi keputusan atas keberatan atau putusan pengadilan. Karena itu, keputusan penegakan ini harus diperlakukan sebagai keputusan yang telah diterbitkan, disengketakan, dan belum selesai secara prosedural—bukan putusan yudisial final.

Uji engineering dan governance ini tidak membuktikan kepatuhan hukum. Hak dan kewajiban yang berlaku bergantung pada yurisdiksi, keputusan, organisasi, dan orang-orang yang terdampak.

Kontak manusia dan kontrol manusia adalah properti sistem yang berbeda

Otoritas Belanda mengatakan software Uber pada periode historis melacak perilaku mengemudi dan rating, lalu menonaktifkan akun secara otomatis setelah dugaan fraud atau rating rendah. Otoritas mengatakan pelanggaran telah berakhir. Halaman publik Uber saat ini tentang peninjauan akun secara terpisah menjelaskan review manual, kemampuan mengirimkan bukti tambahan, dan Review Center dalam aplikasi yang sedang diperluas ke seluruh dunia.

Ringkasan penegakan dan halaman perusahaan itu menggambarkan periode dan jenis bukti yang berbeda. Temuan tersebut menyangkut 2018–2022. Halaman Uber menjelaskan pendekatan yang dinyatakan saat ini dan bukan audit independen atas perilaku masa kini. Tidak satu pun sumber membuktikan bagaimana setiap penonaktifan bekerja hari ini.

Workflow keputusan otomatis apa pun dapat memuat seseorang tetapi tetap membiarkan hasil tidak berubah secara fungsional. Review menjadi lemah ketika sistem menahan bukti yang berlawanan, menyajikan skornya sebagai otoritatif, hanya memberi reviewer waktu beberapa detik, menghukum pembatalan, atau mengembalikan banding kepada orang yang sama dengan bukti yang sama dan tanpa wewenang lebih besar.

Panduan 2025 otoritas Belanda tentang intervensi manusia yang bermakna mengorganisasi masalah ini di sekitar manusia, teknologi dan interface, proses, serta governance. Panduan itu menanyakan apakah reviewer memahami sistem dan batasnya, dapat menolak output, memiliki cukup waktu, menerima dukungan organisasi, dan dipantau tanpa dijadikan satu-satunya pihak yang bertanggung jawab atas proses yang dirancang buruk.

Information Commissioner’s Office Inggris mencapai uji operasional yang serupa dalam kerangka audit human review. Kerangka itu meminta reviewer yang berkualifikasi dan independen, metode pengujian terdokumentasi, log override dengan alasan, beban kasus yang dapat dikelola, serta proses untuk meninjau ulang atau membatalkan. ICO memperingatkan bahwa panduan ini sedang ditinjau setelah perubahan hukum Inggris, sehingga tidak boleh diperlakukan sebagai rulebook saat ini untuk yurisdiksi lain.

Matriks wewenang mengekspos cap karet sebelum deployment

Tuliskan apa yang benar-benar dapat dilakukan setiap peran. Nama peran seperti human reviewer tidak membuktikan apa pun kecuali workflow memberikan akses bukti dan kewenangan keputusan yang sesuai.

Kapabilitas	Reviewer lini pertama	Reviewer banding	Pemilik sistem	Bukti bahwa kapabilitas itu nyata
Melihat rekomendasi otomatis dan confidence atau uncertainty	Wajib	Wajib	Read-only untuk dukungan	Tampilan kasus yang dirender dan access log
Memeriksa bukti yang mendasari dan bukti berlawanan yang relevan	Wajib	Wajib	Memelihara koneksi sumber	Manifest bukti, flag data hilang, dan retrieval log
Meminta informasi tambahan	Wajib	Wajib	Mengimplementasikan jalur permintaan	Tanda terima permintaan dan respons bertanggal
Menghentikan hasil sebelum berlaku	Wajib untuk kasus berkonsekuensi	Wajib	Menetapkan safe hold yang berbatas	Event hold dengan kedaluwarsa dan pemilik
Menerima, menolak, atau mengganti rekomendasi	Wajib	Wajib	Tidak dapat menulis ulang kasus yang sudah diputus secara diam-diam	Event keputusan bertanda tangan dengan alasan
Membuka kembali keputusan yang selesai	Hanya eskalasi	Wajib	Menyediakan transisi state terkontrol	Event pembukaan ulang yang ditautkan ke keputusan sebelumnya
Mengubah policy atau model	Tidak	Tidak	Hanya proses release terkontrol	Catatan perubahan berversi dan persetujuan terpisah
Menghapus atau menulis ulang bukti audit	Tidak	Tidak	Tidak ada edit langsung; hanya append koreksi	Riwayat event immutable dan tautan koreksi

Pemisahan antara review kasus dan perubahan sistem penting. Reviewer harus memperbaiki hasil individual tanpa mengubah model. Pemilik sistem harus memperbaiki policy atau model tanpa menulis ulang bukti keputusan yang tidak nyaman secara retroaktif.

Matriks tersebut juga membuat kegagalan umum terlihat: reviewer secara formal boleh tidak setuju tetapi tidak dapat menghentikan tindakan sebelum berlaku. Itu bukan wewenang yang sama dengan hold pra-keputusan. Waktu termasuk dalam definisi kontrol.

Bukti review bukan flag generik human-reviewed: true. Bukti itu adalah urutan yang menghubungkan rekomendasi otomatis, bukti yang tersedia saat itu, wewenang reviewer, alasan keputusan, dan state yang akhirnya diberlakukan sistem downstream. Waktu penting: komentar yang ditambahkan setelah akun dinonaktifkan bukan kontrol yang sama dengan hold yang mencegah tindakan.

Versioning penting karena alasan yang sama seperti dalam evaluasi AI. Sebuah review hanya dapat menjelaskan policy, sistem otomatis, bukti, dan interface yang menghasilkan kasus itu. Log dapat membantu merekonstruksi urutan, tetapi tidak membuatnya benar atau lengkap; access control, aturan koreksi, batas retensi, dan sampling independen tetap merupakan pertanyaan terpisah.

Banding harus membuat jalur keputusan baru, bukan mengulang jalur pertama

Trace banding yang berfungsi mempertahankan event asli dan menambahkan review baru dengan pengambil keputusan berbeda, bukti baru apa pun, dan alasan baru. Trace itu tidak menimpa decision: accepted dengan decision: rejected sambil menghapus bagaimana hasil pertama terjadi.

Urutan	Event yang diperlukan	Kegagalan yang harus diekspos log
1. Rekomendasi otomatis	Rekomendasi berversi, input, uncertainty, dan manifest bukti	Hanya label final yang bertahan; bukti tidak dapat direkonstruksi
2. Review pertama	Penugasan, akses bukti, waktu yang dihabiskan, wewenang yang digunakan, alasan, dan hasil	Reviewer mengeklik setuju tanpa melihat bukti atau memberi alasan
3. Pemberitahuan	Apa yang disampaikan, kapan, dan cara meminta review	Pemberitahuan menghilangkan dasar, tenggat, atau jalur keberatan yang dapat digunakan
4. Permintaan banding	Waktu permintaan, alasan, bukti baru, dan efek segera seperti hold sementara	Banding ada dalam policy tetapi tidak dapat mencegah kerugian yang terus berlangsung
5. Review ulang independen	Reviewer berbeda, rekaman asli lengkap, bukti baru, alasan, dan wewenang	Queue yang sama mengulang hasil pertama tanpa memeriksa keberatan
6. Koreksi dan pemulihan	Hasil yang berubah, pemulihan atau ganti rugi, pemberitahuan, dan pembaruan downstream	Kasus berubah dalam satu database sementara sistem terhubung terus memberlakukan hasil lama

Proyek audit AI European Data Protection Board menawarkan metodologi dan checklist yang lebih luas untuk memeriksa sistem AI. Sumber tersebut dapat membantu menyusun audit, tetapi bukan temuan EDPB tentang Uber dan tidak mensertifikasi proses review tertentu.

Wewenang nyata terlihat ketika reviewer tidak setuju

Sebuah proses dapat terlihat lengkap sampai bukti berlawanan muncul, dokumen yang diperlukan hilang, atau reviewer menolak rekomendasi dengan confidence tinggi. Kasus-kasus tersebut menunjukkan apakah interface membuka materi sumber, apakah reviewer dapat menghentikan konsekuensi, dan apakah sistem downstream mematuhi keputusan manusia alih-alih hasil otomatis awal.

Banding menambahkan uji yang lebih kuat karena harus membuka kembali kasus yang selesai, menerima bukti baru, menugaskan penilaian independen, dan memulihkan akses atau state terdampak lainnya di seluruh sistem yang terhubung. Satu override yang berhasil tidak cukup membuktikan penilaian yang baik, tetapi sistem yang tidak dapat menjalankan override sejak awal belum mendelegasikan wewenang yang bermakna.

Metrik diagnostik memerlukan denominator dan investigasi

Metrik dapat menunjukkan tempat untuk mencari; tidak ada satu pun yang merupakan ambang kepatuhan universal.

• Override rate: rekomendasi yang di-override dibagi rekomendasi yang direview, dibagi menurut jenis hasil, kelompok reviewer, versi policy, dan waktu. Angka yang mendekati nol dapat menunjukkan sistem yang sangat baik, wewenang reviewer yang lemah, atau log yang rusak.
• Appeal reversal rate: keputusan banding yang berubah setelah review ulang dibagi banding yang selesai. Nilai tinggi dapat menunjukkan koreksi yang berguna, review pertama yang buruk, atau banding yang selektif.
• Review latency: waktu dari kesiapan bukti hingga keputusan beralasan. Laporkan distribusinya, bukan hanya rata-rata, dan pisahkan waktu menunggu dari waktu review aktif.
• Evidence completeness: kasus yang direview dengan setiap kelas bukti yang diwajibkan tersedia dibagi kasus yang direview. Metrik hanya bermakna jika persyaratan berversi dan bukti yang hilang tidak dapat direpresentasikan sebagai nilai kosong.
• Reviewer disagreement: kesimpulan berbeda dalam sampel buta dibagi kasus yang direview ganda. Investigasi policy ambigu, celah bukti, pelatihan, dan campuran kasus sebelum menyalahkan individu.
• Downstream correction rate: keputusan berubah yang dampaknya dikoreksi di setiap sistem terhubung dibagi keputusan berubah. Banding yang baik tetapi membiarkan pembatasan lama tetap aktif masih merupakan kegagalan kontrol.

Riwayat review memerlukan konteks yang cukup untuk menginvestigasi angka tersebut tanpa mengubah performa karyawan atau data orang terdampak menjadi feed analytics tanpa batas. Akses berbatas, identifier operasional pseudonim, retensi terdokumentasi, dan jalur koreksi tetap menjadi bagian dari trade-off ini.

Review juga harus dilakukan setelah perubahan otomatis material terakhir. Analisis watermark Claude dan EU AI Act menunjukkan masalah urutan yang sama dalam publikasi: penulisan ulang AI yang substantif setelah sign-off membuat bukti review sebelumnya menjelaskan versi yang salah. Untuk catatan kasus jangka panjang, batas tata kelola data dalam analisis data enterprise Spirit mengingatkan bahwa mempertahankan auditability tidak membenarkan penyimpanan setiap catatan dasar selamanya.

Review yang bermakna tidak dibuktikan oleh tombol, jabatan, atau pernyataan policy yang menarik. Review terbukti ketika orang yang berkualifikasi dapat memeriksa bukti, menghentikan jalur otomatis, memberikan alasan independen, mengubah hasil sebenarnya, dan meninggalkan catatan yang dapat direkonstruksi reviewer lain. Uji akhir terkuat adalah banding yang mengoreksi setiap dampak downstream tanpa menghapus kesalahan yang membuat banding itu diperlukan.

Sumber

1. Dutch Data Protection Authority: Uber fined for automated driver blocking
2. Dutch-language authority announcement of the Uber decision
3. CNIL account of the coordinated Uber enforcement decision
4. AP report on the Uber fine and response
5. Dutch authority guidance on meaningful human intervention
6. ICO human-review audit framework
7. European Data Protection Board AI-auditing resources
8. Uber account-deactivation review description