无法推翻模型决定的人类审查员不是控制措施

在自动化系统实际上已经决定结果后，审查员再点击批准，这并不是有意义的人类审查。审查员需要足够的证据和时间作出独立判断，需要有权暂停或改变结果、记录理由，并拥有仍能纠正决定的申诉路径。

这正是 Uber 一项存在争议的执法决定带来的实际教训。8 月 21 日，荷兰数据保护局表示，因 Uber 在 2018 至 2022 年间对司机账户作出完全自动化的决定且通知不足，对其处以 8.2499 亿欧元罚款。参与该案件合作的法国数据保护机构 CNIL同样描述了在没有人工介入的情况下作出的临时和永久停用。Uber 对调查结果提出异议，并表示相关政策属于历史做法。

对挑战状态需要加上限定。荷兰机构的荷兰语公告称，Uber 已宣布提出行政异议。其英文版本称已提交申诉，而美联社报道称 Uber 表示将提出申诉。截至 8 月 24 日审阅的公开来源没有确认挑战决定或法院裁决。因此，这项执法决定应被视为已作出、存在争议且程序尚未解决，而不是最终的司法判决。

这项工程和治理测试并不能证明法律合规。适用的权利和义务取决于司法管辖区、决定、组织以及受影响的人。

人类接触和人类控制是不同的系统属性

荷兰机构称，Uber 的历史软件会追踪驾驶行为和评分，然后在怀疑欺诈或评分较低后自动停用账户。该机构表示违规行为已经结束。Uber 的当前公开账户审查页面则单独描述了人工审查、提交额外证据的能力，以及正在全球扩展的应用内 Review Center。

执法摘要和公司页面描述的是不同的时期和证据类型。调查结果涉及 2018–2022 年。Uber 的页面描述的是其当前声称采用的方法，并不是对当前行为的独立审计。两份来源都不能证明今天每一次停用是如何进行的。

任何自动化决策工作流都可以包含一个人，却仍让结果在功能上不受影响。当系统扣留相反证据、把分数作为权威、只给审查员几秒钟、惩罚推翻操作，或让申诉回到同一个人手中并使用相同证据而没有更大权限时，审查就会变得薄弱。

荷兰机构的2025 年有意义人工介入指南围绕人员、技术与界面、流程和治理组织了这个问题。它询问审查员是否理解系统及其限制、能否拒绝系统输出、是否有足够时间、是否得到组织支持，以及他们是否受到监督而不会为设计糟糕的流程独自承担责任。

英国信息专员办公室在其人类审查审计框架中提出了相似的运营测试。它要求合格且独立的审查员、记录在案的测试方法、带理由的推翻日志、可管理的案件量，以及重新审查或推翻决定的流程。ICO 警告说，英国法律变化后该指南正在审查中，因此不应将其视为其他司法管辖区的现行规则手册。

权限矩阵能在部署前暴露橡皮图章

写下每个角色实际上能做什么。除非工作流同时授予相应的证据访问权和决策权，否则像 human reviewer 这样的角色名称不能证明任何事情。

能力	一线审查员	申诉审查员	系统所有者	该能力真实存在的证据
查看自动化建议及置信度或不确定性	必需	必需	只读支持	呈现的案件视图和访问日志
检查底层证据及相关相反证据	必需	必需	维护来源连接	证据清单、缺失数据标记和检索日志
请求额外信息	必需	必需	实施请求路径	带日期的请求和回复回执
在结果生效前暂停结果	对有后果的案件必需	必需	定义有边界的安全保留	带到期时间和负责人的保留事件
接受、拒绝或替换建议	必需	必需	不能静默改写已决定的案件	带理由的签名决定事件
重新打开已完成的决定	仅可升级	必需	提供受控状态转换	与此前决定关联的重新打开事件
更改策略或模型	不可	不可	仅限受控发布流程	版本化变更记录和单独批准
删除或改写审计证据	不可	不可	不可直接编辑；只能追加更正	不可变事件历史和更正链接

案件审查与系统变更之间的分离很重要。审查员应能纠正个别结果而不改变模型。系统所有者应能改进策略或模型，而不追溯改写某项不便决定的证据。

矩阵还会让一个常见失败显现出来：审查员在形式上可以不同意，却无法在行动生效前阻止它。这与决定前保留所拥有的权限并不相同。时间安排属于控制定义的一部分。

审查证据不是一个通用的 human-reviewed: true 标记，而是把自动化建议、当时可用的证据、审查员权限、决定理由，以及下游系统最终执行的状态连接起来的序列。时间很重要：账户已经停用后添加的评论，与防止行动发生的保留控制不是一回事。

版本管理之所以重要，原因与AI 评估中的原因相同。一次审查只能描述产生该案件的策略、自动化系统、证据和界面。日志可以帮助重建序列，却不能让它成为真实或完整的序列；访问控制、更正规则、保留期限和独立抽样仍是独立问题。

申诉应创建新的决定路径，而不是重放第一次决定

有效的申诉轨迹会保留原始事件，并增加一次由不同决策者进行的新审查、任何新证据和新的理由。它不会将 decision: accepted 覆盖为 decision: rejected，并抹去第一次结果是如何发生的。

序列	必需事件	日志应暴露的失败
1. 自动化建议	版本化建议、输入、不确定性和证据清单	只剩最终标签，无法重建证据
2. 首次审查	分配、证据访问、花费时间、使用的权限、理由和结果	审查员没有查看证据或给出理由就点击接受
3. 通知	传达了什么、何时传达，以及如何寻求审查	通知遗漏依据、截止时间或可用的挑战路径
4. 申诉请求	请求时间、理由、新证据和临时保留等即时效果	政策中存在申诉，却无法阻止持续伤害
5. 独立重新审查	不同审查员、完整原始记录、新证据、理由和权限	同一个队列没有检查挑战就重复第一次结果
6. 更正与恢复	改变后的结果、恢复或补救、通知及下游更新	一个数据库改变了案件，而关联系统仍执行旧结果

欧洲数据保护委员会的 AI 审计项目提供了检查 AI 系统的更广泛方法和清单。该资源可以帮助组织审计，但不是 EDPB 对 Uber 的调查结论，也不认证任何特定审查流程。

审查员不同意时，真实权限才会显现

在相反证据出现、所需文件缺失，或审查员拒绝高置信度建议之前，一个流程可能看起来已经完整。这些案件会揭示界面是否公开源材料、审查员是否能暂停后果，以及下游系统是否遵守人工决定而非原始自动化结果。

申诉增加了更强的测试，因为它必须重新打开已完成案件、接纳新证据、分配独立判断，并在关联系统中恢复访问权或其他受影响状态。一次成功的推翻不足以证明判断良好，但无法执行推翻的系统从一开始就没有授予有意义的权限。

诊断指标需要分母和调查

指标可以揭示应该去哪里查找，但没有任何一个指标是普遍适用的合规阈值。

• 推翻率： 被推翻的建议数除以已审查建议数，并按结果类型、审查员群组、策略版本和时间分段。接近零可能表示系统优秀、审查员权限薄弱，或日志损坏。
• 申诉逆转率： 重新审查后改变的申诉决定数除以已完成申诉数。数值高可能揭示有效纠正、首次审查质量差，或申诉具有选择性。
• 审查延迟： 从证据就绪到给出有理由决定的时间。报告分布而不只是平均值，并区分等待时间和主动审查时间。
• 证据完整性： 具备每一类所需证据的已审查案件数除以已审查案件数。只有在要求经过版本管理且缺失证据不能表示为空值时，该指标才有意义。
• 审查员分歧： 盲样中得出不同结论的案件数除以双重审查案件数。在归咎于个人之前，调查模糊策略、证据缺口、培训和案件构成。
• 下游更正率： 其影响已在每个关联系统中被更正的变更决定数除以变更决定数。好的申诉如果让旧限制继续生效，仍然是控制失败。

审查历史需要足够的上下文来调查这些比率，但不能因此把员工绩效或受影响人员的数据变成不受限制的分析数据流。有限的访问、假名化运营标识符、有记录的保留期限和更正路径仍属于这项权衡。

审查还必须发生在最后一次实质性自动化变更之后。Claude 水印和欧盟 AI 法案分析展示了发布中的同一排序问题：签字后发生的实质性 AI 改写，会让此前的审查证据描述错误的版本。对于长期存在的案件记录，Spirit 企业数据分析中的数据治理边界提醒我们，保留可审计性并不意味着永远保留每一条底层记录。

有意义的审查不是由按钮、职位名称或吸引人的政策声明证明的。它要在合格人员能够检查证据、停止自动化路径、给出独立理由、改变实际结果，并留下另一名审查员可以重建的记录时才得到证明。最强的最终测试，是一次能够纠正每个下游影响、同时不抹去导致申诉必要性的错误的申诉。

资料来源

1. Dutch Data Protection Authority: Uber fined for automated driver blocking
2. Dutch-language authority announcement of the Uber decision
3. CNIL account of the coordinated Uber enforcement decision
4. AP report on the Uber fine and response
5. Dutch authority guidance on meaningful human intervention
6. ICO human-review audit framework
7. European Data Protection Board AI-auditing resources
8. Uber account-deactivation review description