案例库 · 法务与合规 · 法务决策 · 2012–2020
Rite Aid 用人脸识别 8 年,从没测过准确率——FTC 禁了它 5 年
Rite Aid 的人脸识别系统靠错误匹配把顾客当成小偷,在黑人聚居区和亚裔聚居区更糟。FTC 禁了它五年。
Rite Aid Corporation · 2023-12-19
怎么回事
从 2012 到 2020 年,Rite Aid 在数百家门店用人脸识别监视顾客,把顾客的脸与公司内部怀疑偷窃或行为不端者的黑名单做匹配。FTC 的诉状发现,这家公司在上线前从不测试系统准确率,从不询问供应商系统有多准,事后也从不检查是否制造了错误匹配。
而它确实在制造。系统产生了数千条误报,员工会据此行动:跟踪被标记的顾客、搜查他们、勒令他们离开,并因为错误的匹配报警。FTC 引述的一个案例里,一名黑人女性被指控匹配上了『一个金发白人女性』的警报档案。约六成部署了这项技术的门店位于黑人占相对多数或亚裔占相对多数的街区,那里的误报率比其他地方更高。
FTC 于 2023 年 12 月 19 日下达的命令,禁止 Rite Aid 在五年内将人脸识别用于监视目的,并要求删除通过该项目收集的所有图像和数据。命令没有单独的罚款金额,但 Rite Aid 在那一年早些时候已因阿片类药物诉讼及其他负债的沉重压力申请了第七章破产保护,人脸识别禁令成为它在重组过程中又一项记录。
为什么会这样
- Rite Aid 把生物识别系统部署进真实零售运营,上线前后都没有对照真实顾客验证其准确率。
- 它依赖供应商对技术性能的说法,而不是独立测试误报率。
- 门店员工没有接受关于系统局限性的培训,所以把概率性的匹配当成已确认的识别来处理,并逐级升级——搜查、驱逐、报警。
- 部署模式把错误率最高的系统集中在黑人相对多数和亚裔相对多数的街区,把一个准确性问题放大成了歧视问题。
代价被 FTC 禁止使用人脸识别 5 年代价高昂
教训
把一个概率性识别系统当成已确认的系统来部署,每一次误报都会变成现实中的指控——在对输出做出行动之前,先测清错误率。
资料来源
发现哪里写错了?告诉我们。
类似的案例
这家公司栽倒的地方,别处有人漂亮地解开过。 第二意见 →

Comments · 0
登录 后就能评论。