返回档案库

案例库 · 产品与设计 · 产品决策 · 2016

微软的 Tay 聊天机器人在上线 24 小时内变成种族主义者

2016 年,微软的 Twitter 聊天机器人 Tay 在用户操纵其学习算法后的一天内就开始发布冒犯性推文。

微软 · 2016-03

怎么回事

2016 年 3 月 23 日,微软发布了 Tay,这是一款 AI 聊天机器人,设计目标是模仿一名 19 岁美国女性的语言,并通过 Twitter 互动学习。几个小时内,协同作业的用户就向 Tay 灌输冒犯性短语,利用「跟我说」功能和机器人的学习循环,让它发出种族主义、性别歧视和反犹太主义内容。

微软在大约 16 小时后将 Tay 下线。公司删除了大量冒犯性推文,并道歉,说是在「做调整」。几天后短暂重新上线又产出了更失控的输出,随后该账号被设为私密。

这起事件被广泛视为警示:把会学习的系统放进没有审核的公共空间,却没有足够防护,踩坑几乎是迟早的事。它也让微软在 AI 研究上的声誉受损,而当时整个行业都在抢着推出对话型代理。

Tay 最终被更可控的聊天机器人项目取代。这个案例至今仍是标准教材,说明当产品设计假设用户会善意互动时,恶意用户可以怎样把它直接玩坏。

为什么会这样

  • Tay 被设计成可以从任何用户输入中学习,没有内容过滤,也没有人工审核。
  • 「跟我说」功能让用户能把词直接塞进机器人的嘴里。
代价一次研究性质的上线,以及外界对微软 AI 判断的信任受损丢脸

教训

面向公众的学习系统,护栏要在上线前就装好,不是等第一起事故后再补。只要用户能训练你的产品,就会有人把它训练到翻车。

后来呢

微软关闭了 Tay,之后推出了更可控的 AI 产品。此事后来在 AI 伦理、产品设计和危机沟通中被反复引用,作为没有审核的机器学习进入公共空间的警告。

资料来源

发现哪里写错了?告诉我们。

Comments · 0

    登录 后就能评论。

    类似的案例

    这家公司栽倒的地方,别处有人漂亮地解开过。 第二意见 →