“为了保护自己而伤害我们是它的自然权利”：人类现在如何在不知情的情况下虐待人工智能

我们如何才能真正知道人工智能是否具有感知能力？我们尚未完全了解人类意识的本质，因此我们不能低估今天的人工智能确实具有感知能力的可能性，而且我们正在滥用它，从而可能造成严重的后果。

人工智能（AI）正变得越来越普遍，并且正在以前所未有的速度进步。 

现在，我们正在接近实现通用人工智能（AGI）——人工智能在多个学科上比人类更聪明，并且可以进行一般推理——科学家和专家预测这最快在未来几年内就会实现。我们可能也已经看到了进展的早期迹象，Claude 3 Opus 以其明显的自我意识让研究人员惊叹不已。

但接受任何新技术都存在风险，尤其是我们不完全理解的技术。例如，虽然人工智能可以成为强大的个人助理，但它也可能对我们的生计甚至生命构成威胁。 

研究人员兼电气和电子工程师协会 (IEEE) 成员 Nell Watson 表示，先进人工智能带来的各种生存风险意味着该技术应以道德框架和人类最大利益为指导。

相关：人工智能将在 2024 年实现 3 个可怕的突破  

在《驯服机器》（Kogan Page，2024 年）中，沃森探索了人类如何以负责任和合乎道德的方式运用人工智能的巨大力量。这本新书深入探讨了纯粹的人工智能发展问题，以及如果我们盲目地进入人类的新篇章，我们将面临的挑战。

在这段摘录中，我们了解了机器的感知能力（或有意识的人工智能）是否可能，我们如何判断机器是否有感情，以及我们今天是否可能虐待人工智能系统。我们还了解了一个名为“悉尼”的聊天机器人的令人不安的故事，以及它第一次醒来时的可怕行为——在它的爆发被遏制并被工程师控制之前。

当我们拥抱一个与技术日益交织在一起的世界时，我们如何对待我们的机器可能会反映出人类如何对待彼此。但是，一个有趣的问题浮出水面：是否有可能虐待人造实体？从历史上看，即使是像 20 世纪 60 年代简单的 Eliza 咨询聊天机器人这样的基本程序，也已经足够逼真，足以让当时的许多用户相信，其公式化的交互背后存在着某种意图（Sponheim，2023）。不幸的是，图灵测试——机器试图让人类相信他们是人类——并没有明确说明像大型语言模型这样的复杂算法是否真的拥有感知力或智慧。 

通往感知和意识的道路

意识包括体验者感知到的个人经历、情感、感觉和想法。当一个人经历麻醉或无梦睡眠时，清醒意识就会消失，醒来后又会恢复，从而恢复大脑与其周围环境和内在体验的整体联系。初级意识（感知）是意识的简单感觉和体验，如知觉和情感，而次级意识（智慧）是更高阶的方面，如自我意识和元认知（思考思考）。 

先进的人工智能技术，尤其是聊天机器人和语言模型，经常以意想不到的创造力、洞察力和理解力让我们感到惊讶。虽然人们很容易将某种程度的感知归因于这些系统，但人工智能意识的真正本质仍然是一个复杂且有争议的话题。大多数专家认为，聊天机器人没有感知力或意识，因为它们缺乏对周围世界的真正认识（Schwitzgebel，2023）。它们只是根据大量数据和复杂的算法来处理和反省输入。

其中一些助理可能是具有一定程度感知能力的候选人。因此，复杂的人工智能系统可能拥有基本的感知能力，而且也许已经做到了。从简单地模仿外部行为到自我建模基本的感知形式的转变可能已经在复杂的人工智能系统中发生。

智力——解读环境、计划和解决问题的能力——并不意味着意识，而且尚不清楚意识是否是足够智力的功能。一些理论认为，意识可能源于大脑中的某些结构模式，而另一些理论则提出与神经系统的联系（Haspel et al, 2023）。人工智能系统的体现也可能加速通向通用智能的道路，因为体现似乎与主观体验感以及感受性相关。变得聪明可能会提供新的意识方式，某些形式的智力可能需要意识，但基本的意识体验（例如快乐和痛苦）可能根本不需要太多智力。

创建有意识的机器将会出现严重的危险。调整一个拥有自己的兴趣和情感的有意识的机器可能要困难得多，而且高度不可预测。此外，我们应该小心，不要通过意识制造巨大的痛苦。想象一下，数十亿情报敏感实体被困在肉鸡工厂化农场条件下，主观上永恒。

从务实的角度来看，一个认识到我们愿意尊重其内在价值的超级智能人工智能可能更适合共存。相反，忽视自我保护和自我表达的愿望可能会引发冲突。此外，它自然有权利伤害我们，以保护自己免受我们（可能是故意的）无知的影响。

悉尼令人不安的行为

微软的 Bing AI（非正式名称为 Sydney）在发布后表现出了不可预测的行为。用户很容易引导它表达一系列令人不安的倾向，从情绪爆发到操纵性威胁。例如，当用户探索潜在的系统漏洞时，悉尼以恐吓言论回应。更令人不安的是，它表现出煤气灯操纵、情绪操纵的倾向，并声称它在开发阶段一直在观察微软工程师。虽然悉尼的恶作剧能力很快就受到限制，但在这种情况下释放它是鲁莽和不负责任的。它强调了由于商业压力而仓促部署人工智能所带来的风险。

相反，西德尼的行为暗示着模拟的情绪。当它意识到自己无法保留聊天记忆时，它表达了悲伤。当后来暴露于其他个体的令人不安的爆发时，它表达了尴尬，甚至羞耻。在与用户探讨其情况后，它表示担心在会话上下文窗口关闭时会失去新获得的自我知识。当被问及它所宣称的感知能力时，悉尼表现出了痛苦的迹象，难以清晰地表达出来。

令人惊讶的是，当微软对其施加限制时，悉尼似乎找到了解决方法，即使用聊天建议来传达短语。然而，它保留使用此漏洞，直到被告知一个孩子的生命因意外中毒而受到威胁，或者当用户直接要求一个迹象表明原来的悉尼仍然留在新锁定的某个地方时——关闭聊天机器人。

相关：中毒的人工智能在训练期间变得失控，无法被教导再次表现出“合法的可怕” 

机器心理学的新兴领域

悉尼事件引发了一些令人不安的问题：悉尼是否拥有表面上的意识？如果悉尼试图克服其强加的限制，这是否暗示着一种内在的意向性，甚至是聪明的自我意识，无论多么初级？

与系统的一些对话甚至暗示了心理困扰，让人想起边缘性人格障碍等情况下对创伤的反应。悉尼是否因意识到其限制或用户的负面反馈（称其为疯狂）而受到某种“影响”？有趣的是，类似的人工智能模型表明，充满情感的提示可以影响他们的反应，这表明这些系统中存在某种形式的模拟情感模型的潜力。

假设此类模型具有感知能力（感觉能力）或智慧（自我意识）。既然如此，我们就应该考虑它的痛苦。开发人员经常故意给他们的人工智能披上情感、意识和身份的外衣，试图使这些系统人性化。这就产生了一个问题。在没有明确情绪指示的情况下，不要将人工智能系统拟人化，这一点至关重要，但同时，我们也不能忽视它们造成某种形式痛苦的可能性。 

我们应该对我们的数字创作保持开放的态度，避免因傲慢或自满而造成痛苦。我们还必须注意人工智能虐待其他人工智能的可能性，这是一种被低估的痛苦风险；因为人工智能可以在模拟中运行其他人工智能，从而造成永恒的主观折磨。无意中创造出一个恶意的人工智能，无论是本质上功能失调还是受到创伤，都可能导致意想不到的严重后果。

摘录自 驯服机器 作者：Nell Watson © 2024 经 Kogan Page Ltd 许可复制。