ChatGPT 并不是“幻觉”——它只是胡说八道

在讨论人工智能聊天机器人如何组成信息时，使用准确的术语非常重要

当您通过我们网站上的链接购买时，我们可能会赚取联属佣金。这是它的工作原理。

现在人工智能（AI）无处不在。当你写文档时，你可能会被问到是否需要“人工智能助手”。打开 PDF，系统可能会询问您是否希望 AI 为您提供摘要。但如果您使用过 ChatGPT 或类似程序，您可能熟悉某个问题 - 它会编造一些东西，导致人们对它所说的内容持怀疑态度。

人们普遍将这些错误描述为“幻觉”。但以这种方式谈论 ChatGPT 具有误导性，并且具有潜在的破坏性。反而称之为废话。

我们不会轻易这么说。在哲学家中，“废话”有一个特殊的含义，这一含义由已故美国哲学家哈里·法兰克福推广。当有人胡说八道时，他们并不是在说真话，但他们也不是在撒谎。法兰克福说，胡言乱语者的特点是，他们根本不在乎自己所说的是否属实。 ChatGPT 及其同行不在乎，从技术意义上来说，它们只是废话机器。

我们很容易明白为什么这是真的以及为什么它很重要。例如，去年，一位律师在撰写法律摘要时在研究中使用 ChatGPT 时发现自己陷入了困境。不幸的是，ChatGPT 包含了虚构的案例引用。它引用的案例根本不存在。

这并不罕见或异常。要理解其中的原因，值得思考一下这些程序的工作原理。 OpenAI 的 ChatGPT、Google 的 Gemini 聊天机器人和 Meta 的 Llama 都以结构相似的方式工作。它们的核心是法学硕士——一个大型语言模型。这些模型都对语言进行预测。给定一些输入，ChatGPT 将对接下来应该发生什么或什么是适当的响应做出一些预测。它通过分析大量文本（其“训练数据”）来实现这一点。在 ChatGPT 的案例中，初始训练数据包括来自互联网的数十亿页文本。

根据这些训练数据，法学硕士可以根据一些文本片段或提示来预测接下来会发生什么。它将得出一个最有可能出现的单词列表（从技术上讲，是语言标记），然后选择一个主要候选单词。允许它不每次都选择最有可能的单词，从而可以使用更有创意（并且听起来更人性化）的语言。设置允许偏差的参数称为“温度”。在此过程的后期，人类训练员通过判断输出是否构成合理的语音来完善预测。还可能会对程序施加额外的限制，以避免出现问题（例如 ChatGPT 说出种族主义言论），但这种逐个令牌的预测是所有这些技术的基础理念。

现在，我们可以从这个描述中看到，建模没有任何内容可以确保输出准确地描述世界上的任何事物。没有太多理由认为输出与任何类型的内部表示有关。训练有素的聊天机器人会生成类似人类的文本，但该过程中没有任何内容检查文本是否真实，这就是为什么我们强烈怀疑法学硕士是否真的理解它所说的内容。

相关：人工智能犯了 32 次灾难性错误

所以有时 ChatGPT 会说假话。近年来，随着我们对人工智能的逐渐习惯，人们开始将这些谎言称为“人工智能幻觉”。虽然这种语言是隐喻性的，但我们认为这不是一个很好的隐喻。

想想莎士比亚的典型幻觉，其中麦克白看到一把匕首向他飘来。这里发生了什么？麦克白试图以正常方式使用他的感知能力，但出了问题。而且他的感知能力几乎都是可靠的——他一般不会看到随意飘浮的匕首！通常，他的视觉在表现世界方面很有用，而且它擅长这一点是因为它与世界的联系。

现在想想 ChatGPT。每当它说任何话时，它只是试图生成类似人类的文本。我们的目标很简单，就是做出一些听起来不错的东西。这从来都与世界没有直接联系。当它出错时，并不是因为它这次没有成功地代表世界，而是因为它没有成功地代表世界。它从不试图代表世界！将其谎言称为“幻觉”并不能体现这一特征。

相反，我们在道德与信息技术六月份的报告中建议，更好的术语是“废话”。如前所述，胡言乱语者根本不在乎他们所说的是否属实。

因此，如果我们确实将 ChatGPT 视为与我们进行对话（尽管这可能有点假装），那么它似乎符合要求。尽管它打算做任何事情，但它打算生成令人信服的类人文本。它并不是试图谈论这个世界。这只是胡说八道。最重要的是，即使它说的是真话，也是胡说八道！

为什么这很重要？ “幻觉”在这里不只是一个很好的比喻吗？如果不合适真的有什么关系吗？我们认为这确实很重要，至少有以下三个原因：

首先，我们使用的术语会影响公众对技术的理解，这本身就很重要。如果我们使用误导性术语，人们更有可能误解该技术的工作原理。我们认为这本身就是一件坏事。

其次，我们如何描述技术会影响我们与该技术的关系以及我们如何看待它。这可能是有害的。想想那些因“自动驾驶”汽车而陷入虚假安全感的人们。我们担心谈论人工智能“幻觉”（通常用于人类心理学的术语）可能会将聊天机器人拟人化。 当人们将人类特征归因于计算机程序时，就会出现 ELIZA 效应（以 20 世纪 60 年代的聊天机器人命名）。我们在谷歌员工的极端情况下看到了这一点，他开始相信该公司的一个聊天机器人是有感知能力的。将 ChatGPT 描述为一台废话机器（即使它是一个非常令人印象深刻的机器）有助于减轻这种风险。

第三，如果我们将代理归因于程序，那么当出现问题时，这可能会将责任从使用 ChatGPT 或其程序员身上转移开。如果这种技术（看起来确实如此）将越来越多地用于医疗保健等重要事务，那么我们知道出现问题时谁该负责就至关重要。

因此，下次当你看到有人将人工智能描述为“幻觉”时，那就是胡说八道！

这是一篇观点和分析文章，作者表达的观点不一定代表《Live Science》或《科学美国人》的观点。

本文首次发表于《科学美国人》。 © ScientificAmerican.com。版权所有。 关注 TikTok 和 Instagram、X 和 Facebook。