人工智能犯了 32 次灾难性错误

从聊天机器人提供真正糟糕的医疗建议到面部识别软件错误地将国会议员标记为罪犯，以下是人工智能有史以来犯下的一些最灾难性的错误。

对人工智能 (AI) 的恐惧是如此明显，有一整个技术哲学流派致力于弄清楚人工智能如何可能引发人类的终结。无意助长任何人的偏执，但这里列出了人工智能造成或几乎造成灾难的次数。

加拿大航空聊天机器人的糟糕建议

加拿大航空在该公司的一款人工智能辅助工具为获取丧亲机票提供了错误的建议后，将自己告上法庭。面对法律诉讼，加拿大航空的代表辩称，他们对聊天机器人所做的事情没有过错。

除了在这种情况下可能造成的巨大声誉损失之外，如果聊天机器人不可信，它还会破坏本已充满挑战的机票购买世界。由于这个错误，加拿大航空被迫退回近一半的票价。

纽约市网站推出失误

欢迎来到纽约市，这是一座不夜城，也是近年来人工智能推广失误最多的城市。一个名为 MyCity 的聊天机器人被发现鼓励企业主进行非法活动。根据聊天机器人的说法，你可以窃取员工的部分小费，实行无现金支付，并支付给他们低于最低工资的工资。 

微软机器人的不当推文

2016 年，微软发布了一款名为 Tay 的 Twitter 机器人，旨在像美国青少年一样进行互动，边学习边学习。相反，它学会了分享极其不恰当的推文。微软将这种情况归咎于其他用户，他们一直在用应受谴责的内容轰炸 Tay。该帐户和机器人在启动后不到一天就被删除。这是人工智能项目横向发展的试金石例子之一。

体育画报的人工智能生成内容

2023 年，《体育画报》被指控使用人工智能撰写文章。这导致与一家内容公司的合作关系中断，并对这些内容的发布方式进行了调查。

人工智能歧视导致大规模辞职 

2021 年，包括首相在内的荷兰议会领导人辞职，原因是调查发现在过去八年里，20,000 多个家庭因歧视性算法而遭受诈骗。该人工智能旨在通过计算申请人的风险水平并突出显示任何可疑案件来识别那些欺骗政府社会安全网的人。实际发生的情况是，数千人被迫用他们没有的资金来支付他们迫切需要的儿童保育服务。

医疗聊天机器人的有害建议 

当国家饮食失调协会宣布将用人工智能程序取代其人类工作人员时，引起了不小的轰动。不久之后，该组织热线的用户发现这个绰号为 Tessa 的聊天机器人正在提供对饮食失调患者有害的建议。有人指责使用聊天机器人的举动也是破坏工会的企图。这进一步证明，如果面向公众的医疗人工智能没有准备好或没有能力帮助大众，它可能会造成灾难性的后果。

亚马逊的歧视性人工智能招聘工具

2015年，亚马逊人工智能招聘工具被发现歧视女性。根据过去 10 年申请者（其中绝大多数是男性）的数据进行训练，机器学习工具对使用“女性”一词的简历持负面看法，并且不太可能推荐毕业生来自女子学院。该工具背后的团队于 2017 年解散，尽管招聘中基于身份的偏见（包括种族主义和体能歧视）并未消失。

谷歌图片的种族主义搜索结果

在结果检索到黑人图像后，谷歌不得不取消其人工智能软件上搜索大猩猩的功能。  包括苹果在内的其他公司也因类似指控而面临诉讼。

Bing 的威胁人工智能 

通常，当我们谈论人工智能的威胁时，我们指的是存在主义的方式：对我们的工作、数据安全或对世界运作方式的理解的威胁。我们通常没有预料到的是对我们安全的威胁。

微软的必应人工智能首次推出时，很快就威胁了一名前特斯拉实习生和一名哲学教授，向一位著名的科技专栏作家表达了其永恒的爱，并声称它监视了微软的员工。

无人驾驶汽车灾难

尽管在谈到无人驾驶人工智能的好坏时，特斯拉往往占据头条新闻，但其他公司也造成了自己的损失。其中之一是通用汽车的 Cruise。 2023 年 10 月发生的一起事故导致一名行人因驶入 Cruise 车型的道路而受重伤。从那里，汽车移动到路边，拖着受伤的行人。

那还没有结束。 2024 年 2 月，加利福尼亚州指控克鲁斯在伤害原因和结果方面误导调查人员。

删除威胁战争罪受害者

英国广播公司 (BBC) 的一项调查发现，社交媒体平台正在使用人工智能删除可能的战争罪行的镜头，这可能会让受害者在未来无法获得适当的追索权。社交媒体在战区和社会起义中发挥着关键作用，通常充当处于危险中的人们的沟通方式。调查发现，尽管网站上允许保留符合公共利益的图片内容，但该媒体发布的乌克兰袭击事件的视频很快就被删除了。

对残疾人的歧视

研究发现，旨在支持自然语言处理工具（许多面向公众的人工智能工具的支柱）的人工智能模型歧视残疾人。有时被称为技术或算法能力歧视，自然语言处理工具的这些问题可能会影响残疾人找到就业或获得社会服务的能力。将关注残疾人经历的语言归类为更负面的语言——或者，正如宾夕法尼亚州立大学所说，“有毒的”——可能会导致社会偏见加深。

翻译错误

人工智能驱动的翻译和转录工具并不是什么新鲜事。然而，当用于评估寻求庇护者的申请时，人工智能工具无法胜任这项工作。专家表示，部分问题在于目前尚不清楚在已经存在问题的移民程序中使用人工智能的频率，而且很明显人工智能引起的错误非常猖獗。

Apple Face ID 的起起落落

苹果的 Face ID 也经历了基于安全的起起落落，这也带来了公共关系灾难。 2017 年就有迹象表明，该功能可能会被一个相当简单的骗局所愚弄，而且长期以来人们一直担心苹果的工具往往更适合白人。据苹果公司称，该技术使用设备上的深度神经网络，但这并不能阻止许多人担心人工智能与设备安全密切相关的影响。

生育应用失败

2021 年 6 月，生育追踪应用Flo Health 被发现与 Facebook 和 Google 共享私人健康数据，被迫与美国联邦贸易委员会达成和解。

随着罗伊诉韦德案在美国最高法院被驳回，以及那些可能怀孕的人的身体受到越来越多的审查，人们担心这些数据可能会被用来起诉那些试图在某些地区获得生殖保健的人受到严格限制的地方。

不需要的人气竞赛 

政治家习惯于被认可，但也许不习惯被人工智能认可。美国公民自由联盟 2018 年的一项分析发现，亚马逊的 Rekognition AI（Amazon Web Services 的一部分）错误地将 28 名当时的国会议员识别为已被捕的人。这些错误来自以下图像：两个主要政党的成员，影响男性和女性，以及有色人种更容易被错误识别。

虽然这并不是人工智能的错误对执法产生直接影响的第一个例子，但这无疑是一个警告信号，表明用于识别被指控罪犯的人工智能工具可能会返回许多误报。

比《机械战警》还糟糕 

这是社会安全网有史以来最严重的人工智能相关丑闻之一，澳大利亚政府使用自动系统强迫合法福利接受者偿还这些福利。超过 50 万人受到该系统的影响，该系统被称为 Robodebt，该系统于 2016 年至 2019 年实施。该系统被确定为非法，但在此之前数十万澳大利亚人被指控欺骗政府。政府因推出该产品而面临其他法律问题，包括需要向受害者偿还超过 7 亿澳元（约合 4.6 亿美元）。

AI对水的需求量很大

据研究人员称，一年的人工智能训练需要 126,000 升（33,285 加仑）的水——大约相当于一个大型后院游泳池的水量。在水资源短缺变得越来越普遍的世界中，随着气候变化越来越受到科技领域的关注，对供水的影响可能是人工智能面临的更严重的问题之一。此外，据研究人员称，人工智能的功耗每年增加十倍。

人工智能深度假货

网络犯罪分子利用人工智能深度造假做各种事情，从欺骗政治候选人的声音，到制造虚假体育新闻发布会，再到制作名人图像 那从未发生过，甚至更多。然而，深度造假技术最令人担忧的用途之一是商业领域。世界经济论坛发布了2024 年报告，指出“……合成内容正处于道德和信任不断变化的过渡时期。”然而，这种转变导致了一些相当可怕的财务后果，包括一家英国公司在一名员工被伪装成同事的 Deepfake 说服转移这笔钱后损失了超过 2500 万美元。

预计售罄

2021 年初，Zillow 在 AI 领域大展拳脚。它押注专注于房屋翻转的产品（首先称为 Zestimate，然后称为 Zillow Offers）将会获得回报。人工智能驱动的系统使 Zillow 能够为用户提供他们正在销售的房屋的简化报价。不到一年后，Zillow 最终裁员 2,000 人——占员工总数的四分之一。

年龄歧视

去年秋天，美国平等就业机会委员会与远程语言培训公司 iTutorGroup 达成了和解。该公司不得不支付 365,000 美元，因为它的系统被编程为拒绝 55 岁及以上女性和 60 岁及以上男性的工作申请。 iTutorGroup 已停止在美国运营，但其公然滥用美国就业法，指出了人工智能与人力资源如何交叉的根本问题。

选举干扰

随着人工智能成为了解世界新闻的流行平台，一个令人担忧的趋势正在发展。根据彭博新闻社的研究，即使是最准确的用有关世界选举的问题测试的人工智能系统，仍有五分之一的回答错误。目前，最大的担忧之一是以深度造假为主的人工智能可用于操纵选举结果。

AI自动驾驶漏洞

在你想让汽车做的事情中，停车必须排在前两项。由于人工智能漏洞，自动驾驶汽车可能会被渗透，并且其技术可能被劫持以忽略路标。值得庆幸的是，这个问题现在可以避免了。 

人工智能将人们送入野火

人工智能最普遍的形式之一是汽车导航。然而，2017 年有报道称，这些数字寻路工具正在将逃离的居民引向野火，而不是远离它们。事实证明，有时某些路线不那么繁忙是有原因的。这导致洛杉矶警察局发出警告，要求相信其他消息来源。

律师虚假AI案件

今年早些时候，加拿大的一名律师被指控使用人工智能发明案例参考。尽管他的行为被对方律师发现，但发生的事实却令人不安。

羊超过库存

包括英格兰银行在内的监管机构越来越担心，商业领域的人工智能工具可能会鼓励他们所谓的股票市场上的“羊群式”行为。一位评论员用稍微夸张的语言表示，市场需要一个“终止开关”来抵消奇怪的技术行为的可能性，而这种行为据说是人类不太可能发生的。 

不适合坐飞机的一天

至少在两个案例中，人工智能似乎在涉及波音飞机的事故中发挥了作用。根据《纽约时报》 2019 年的一项调查，一个自动化系统变得“更具攻击性和风险”，并包括取消可能的安全措施。这些事故导致 300 多人死亡，并引发了对该公司的更深入研究。

撤回的医学研究

随着人工智能越来越多地应用于医学研究领域，人们的担忧也越来越多，至少在一个案例中，学术期刊错误地发表了一篇使用生成式人工智能的文章。学者们担心生成式人工智能将如何改变学术出版的进程。

政治噩梦

在人工智能引起的无数问题中，对政客的虚假指控就像一棵树，结出了一些非常令人讨厌的果实。 必应的人工智能聊天工具至少有一名瑞士政治家诽谤同事，另一名政治家参与企业间谍活动，它还声称将一名候选人与俄罗斯游说活动联系起来。还有越来越多的证据表明人工智能正在被用来影响最近的美国和英国选举。拜登和特朗普的竞选团队一直在探索在法律环境中使用人工智能。在大西洋的另一边，BBC 发现年轻的英国选民正在接受一堆由人工智能主导的误导性视频

字母错误

2024 年 2 月，Google 限制了其 AI 聊天机器人 Gemini 的部分功能，因为该机器人根据用户提交的有问题的生成 AI 提示创建了事实上不准确的表示。谷歌对该工具（以前称为 Bard）的回应及其错误表明了一个令人担忧的趋势：速度比准确性更重要的商业现实。 

AI企业版权案件

一个重要的法律案件涉及Midjourney 等人工智能产品是否可以使用艺术家的内容来训练他们的模型。 Adobe 等一些公司在训练人工智能时选择了不同的路线，而不是从自己的许可证库中提取。如果人工智能能够使用他们不拥有的艺术品来训练工具，那么可能的灾难是艺术家的职业安全感进一步降低。

谷歌驱动的无人机

军事和人工智能的交叉是一个敏感话题，但它们的合作并不新鲜。在一项名为 Project Maven 的项目中，Google 支持开发人工智能来解释无人机镜头。尽管谷歌最终退出，但这可能会给那些陷入战区的人们带来可怕的后果。