返回档案库

案例库 · 软件与 IT · 技术决策 · 2018

优步的自动驾驶汽车撞死了一名行人——她被归类为“其他”

2018 年,优步的自动驾驶汽车在亚利桑那州撞死了一名行人。软件把她归类为一次误报。安全员当时在看手机。

优步 · 2018-03-18

怎么回事

2018 年 3 月 18 日,一辆优步的自动驾驶测试车在亚利桑那州坦佩撞死了 49 岁的行人伊莱恩·赫茨伯格。这是自动驾驶模式下自动驾驶汽车造成的首例死亡。

调查发现,车的软件在撞击前 5.6 秒就探测到了赫茨伯格,却把她归类为“误报”——一个该被忽略的物体。软件的分类系统在“未知”“车辆”和“自行车”几个标签之间来回切换,却始终没有落到一个会触发制动的类别上。本该监控路面的安全员,当时正在手机上看电视剧。

优步暂停了自动驾驶项目,并与赫茨伯格的家人和解。美国国家运输安全委员会 (NTSB) 发现,优步为避免“误报”,禁用了沃尔沃自带的紧急制动系统,还把安全员配置从两人减到一人。这一案例说明,展示自动驾驶进展的压力如何会导致安全上的妥协;也说明一个把人归类为“误报”的系统,有根本性的设计问题。

为什么会这样

  • 软件探测到了赫茨伯格,却把她归类为“误报”,没有制动。
  • 安全员在看手机,没有干预。
  • 优步为避免误报,禁用了沃尔沃自带的紧急制动。
  • 安全员配置从两人减到了一人。
代价一名行人遇难;项目被关停灾难级

教训

一个把人归类为“误报”的系统,不是安全系统。优步为减少误报禁用了紧急制动。在自动驾驶里,一次漏检就是一条人命。

后来呢

优步暂停并随后缩减了自动驾驶项目。那名安全员被控过失杀人。NTSB 的报告推动了自动驾驶测试规程的改革。这一案例至今仍是自动驾驶伦理上的标志性事件。

资料来源

发现哪里写错了?告诉我们。

Comments · 0

    登录 后就能评论。

    类似的案例

    这家公司栽倒的地方,别处有人漂亮地解开过。 第二意见 →