“人工智能教父”约书亚·本吉奥表示，如果我们不监管人工智能，人类将面临“灾难性”的未来

Yoshua Bengio 在我们今天看到的机器学习系统的开发中发挥了至关重要的作用。现在，他说它们可能对人类构成生存风险。

当您通过我们网站上的链接购买时，我们可能会赚取联属佣金。这是它的工作原理。

Yoshua Bengio 是人工智能 (AI) 领域被引用最多的研究人员之一。作为创建人工神经网络和深度学习算法的先驱，Bengio 与 Meta 首席人工智能科学家 Yann LeCun 和前谷歌人工智能研究员 Geoffrey Hinton 一起获得了 2018 年图灵奖（被誉为计算界的“诺贝尔”）。领域。

然而，经常与其他图灵奖获得者一起被称为人工智能“教父”之一的本吉奥现在对其技术的开发和采用速度感到不安。他认为人工智能可能会破坏社会结构，并给人类带来意想不到的风险。现在，他是高级人工智能安全国际科学报告的主席，该报告是一个由 30 个国家、欧盟和联合国支持的咨询小组。

《Live Science》在伦敦 HowTheLightGetsIn 音乐节上通过视频通话与 Bengio 进行了交谈，他讨论了机器意识的可能性以及这项新兴技术的风险。这是他不得不说的。

Ben Turner：您在开发人工神经网络方面发挥了极其重要的作用，但现在您呼吁暂停其开发并正在研究监管它们的方法。是什么让您要求暂停一生的工作？

Yoshua Bengio：反对自己的教会是很困难的，但如果你理性地思考事情，就无法否认当我们达到人工智能水平时出现灾难性结果的可能性。我之所以转向，是因为在那一刻之前，我知道有些情况是糟糕的，但我认为我们会解决它。

但正是考虑到我的孩子和他们的未来，我决定必须采取不同的行动，尽我所能来减轻风险。

BT：您是否觉得有责任减轻其最坏的影响？有什么事情让你感到压力吗？

YB：是的，我愿意。我感到有责任，因为我的声音因我的科学工作得到认可而产生了一些影响，所以我觉得我需要大声疾呼。我参与其中的另一个原因是，如果我们要弄清楚如何不通过人工智能的建设来伤害人们，那么重要的技术解决方案是更大的政治解决方案的一部分。

公司很乐意包含这些技术解决方案，但现在我们不知道如何去做。他们仍然希望从达到人类水平的人工智能中获得预测的千万亿利润——所以我们的处境很糟糕，我们需要找到科学的答案。

我经常使用的一个形象是，就像全人类都行驶在一条我们不太熟悉的道路上，而且我们前面有一片雾。我们正朝着那个雾气前进，我们可能在山路上，并且可能有一个我们看不清楚的非常危险的山口。

那么我们该怎么办呢？我们是继续前进，希望一切都会好起来，还是尝试提出技术解决方案？政治解决方案要求应用预防原则：如果不确定，就放慢速度。技术解决方案表明，我们应该想出办法透过雾气进行观察，或许还可以为车辆配备防护装置。

BT： 那么，从短期和长期来看，机器学习给人类带来的最大风险是什么？

YB：人们总是说这些风险是科幻小说，但事实并非如此。短期内，我们已经看到人工智能被用于美国大选，而且情况只会变得更糟。最近的一项研究表明，ChatGPT-4 在说服方面比人类好得多，而这只是 ChatGPT-4——新版本会更糟。

还对这些系统如何帮助恐怖分子进行了测试。最近的 ChatGPT o1 已将该风险从低风险转变为中等风险。

如果你看得更远，当我们达到超级智能的水平时，会存在两个主要风险。首先是人类控制的丧失，如果超级智能机器有自我保护的目标，它们的目标可能是毁灭人类，所以我们无法将它们关闭。

如果第一种情况没有发生，另一个危险是人类利用人工智能的力量在全球独裁统治中控制人类。你可以拥有它的温和版本，它可以存在于一定范围内，但这项技术将为控制它的人提供巨大的力量。

英国电信：欧盟发布了人工智能法案，拜登也发布了人工智能行政命令。各国政府应对这些风险的能力如何？他们的反应是朝着正确的方向还是偏离目标？

YB：我认为他们朝着正确的方向迈出了一步。例如，拜登的行政命令是白宫在那个阶段可以做的，但它没有影响，它不会强迫公司分享他们的测试结果，甚至不会做这些测试。

我们需要摆脱这种自愿因素，公司实际上必须制定安全计划，披露测试结果，如果他们不遵循保护公众的最先进技术，他们可能会被起诉。我认为就立法而言这是最好的建议。

BT：就目前而言，神经网络有很多令人印象深刻的应用。但他们仍然存在问题：在无监督学习中举步维艰并且不能很好地适应训练数据中很少出现的情况。在这场争论中你站在哪一边？

YB：我认为谈论某些领域的能力是非常科学的。这就是我们所做的，我们一直在进行基准测试并评估特定的能力。

当我们问这一切意味着什么（就一般智力而言）时，事情就变得危险了。但我认为这是一个错误的问题。我的问题是，在足够智能、具有特定功能的机器中，什么会使它们对我们造成危险？它们可以用于网络攻击吗？设计生物武器？说服人？他们是否有能力在其他机器或互联网上复制自己，这与开发人员的意愿相反？

所有这些都很糟糕，只要这些人工智能拥有这些功能的一部分就足以变得非常危险。这没有什么模糊之处，人们已经在为这些能力建立基准，因为我们不希望机器拥有它们。英国和美国的人工智能安全研究所正在研究这些问题并测试这些模型。

BT：我们之前谈到过这一点，但是您对科学家和政治家在应对风险方面所做的工作感到满意吗？您对您和他们的努力感到满意，还是我们仍然走在一条非常危险的道路上？

YB：我认为我们在降低风险方面还没有采取措施。已经进行了很多全球对话，提出了很多立法提案，联合国正在开始考虑国际条约-，但我们需要走得更远。

我们在提高认识和更好地理解风险以及政客们考虑立法方面取得了很大进展，但我们还没有做到这一点。我们还没有处于能够保护自己免受灾难性风险影响的阶段。

在过去的六个月里，现在还出现了一股反作用力（反对监管进展），来自少数人的非常强大的游说团体，他们拥有大量权力和金钱，并且不希望公众对什么进行任何监督。他们正在用人工智能做事。

制造这些机器的人之间存在利益冲突，他们希望赚大钱并与公众相互竞争。我们需要管理这种冲突，就像我们对烟草所做的那样，就像我们对化石燃料所做的那样。我们不能只让市场的力量成为推动人工智能发展的唯一力量。

BT：具有讽刺意味的是，如果它只是交给市场力量，我们就会在某种程度上将我们的未来与一个已经非常具有破坏性的算法联系起来。

YB：是的，完全正确。

BT：您提到了游说团体推动机器学习不受监管。他们的主要论点是什么？

YB：一个论点是，这会减慢创新速度。但是否存在一场以最快的速度改变世界的竞赛呢？不，我们想让它变得更好。如果这意味着采取正确的措施来保护公众，就像我们在许多其他领域所做的那样，那么这并不是一个好的论点。这并不是说我们要停止创新，您可以将精力集中在构建肯定有助于经济和人民福祉的工具的方向上。所以这是一个错误的论点。

我们几乎对所有事情都有规定，从你的三明治，到你的汽车，再到你乘坐的飞机。在我们制定监管之前，我们发生的事故要多几个数量级。药品也是如此。我们可以拥有有用且受监管的技术，这对我们有用。

第二个论点是，如果西方因为我们想要谨慎而放慢脚步，那么中国就会向前迈进并利用这项技术来对付我们。这是一个真正令人担忧的问题，但解决方案并不是不加谨慎地加速，因为这会带来军备竞赛的问题。

解决方案是采取中间立场，我们与中国人交谈，并达成共识，避免重大灾难符合我们的共同利益。我们签署条约并致力于验证技术，这样我们就可以彼此相信我们没有做任何危险的事情。这就是我们需要做的，这样我们才能保持谨慎并为了地球的福祉而共同行动。

编者注：为了清晰起见，本次采访经过编辑和精简。

HowTheLightGetsIn 是世界上最大的思想、科学和音乐节，每年在伦敦和海伊举行。错过了伦敦音乐节？不用担心。节日之前的所有活动，包括最近伦敦节日的所有辩论和演讲，都可以在 IAI.TV 上观看。主题涵盖从量子到意识以及介于两者之间的一切，您会发现罗杰·彭罗斯、卡洛·罗维利和萨宾·霍森菲尔德等先驱思想家的视频、文章，甚至每月的在线活动。立即访问 iai.tv/subscribe 享受每月免费试用。iai.tv/subscribe。

还有什么？下一届音乐节将于 2025 年 5 月 23 日至 26 日在海伊举行，主题为“探索未知”。有关早鸟票的更多详细信息和信息，请访问他们的网站。