大型语言模型需要更好地记住事物。科学家们刚刚解决了他们可怕的记忆问题吗？

人工智能聊天机器人不能很好地记住事情。然而，科学家可能已经解决了人工智能关键的短期记忆问题，而 OpenAI 也开始为 ChatGPT 推出长期记忆。

人工智能 (AI) 聊天机器人的记忆能力很差——无论是在不同的对话之间，还是在同一个对话中。但最近的两项突破可能会彻底改变这一点。

如果你与像 OpenAI 的 ChatGPT 这样的大型语言模型 (LLM) 交谈足够长的时间，它就会开始忘记重要的信息，尤其是当对话持续超过 400 万个输入单词时。然后其性能开始迅速恶化。 

同时，ChatGPT 和其他法学硕士无法保留对话之间的信息。例如，如果您完成一次对话并在一周后重新启动 ChatGPT，聊天机器人将不会记住上一次交流的任何内容。 

但两个独立的团队可能已经找到了这些内存问题的解决方案。由麻省理工学院 (MIT) 领导的一个科学家团队已经查明了人工智能在对话过程中忘记事情的原因，并提出了一种解决方法，而 OpenAI 的开发人员已经开始测试长期记忆，在这种情况下，你可以告诉 ChatGPT 记住部分对话，询问它记住了什么，然后告诉它忘记一些东西，或者完全擦除它的记忆。 

提高对话中的表现 

科学家们发现，他们可以通过改变键值缓存（聊天机器人的短期记忆）存储和替换令牌的方式来改善聊天机器人的短期记忆，其中一个令牌是一大块输入文本。科学家们将他们的新方法称为“StreamingLLM”，并在 2023 年 12 月 12 日发表在预印本服务器 arXiv 上的一篇论文中介绍了他们的发现。 

相关：研究显示，ChatGPT 在面临赚钱压力时会撒谎、欺骗并使用内幕交易

聊天机器人的内存是有限的，因此它会驱逐最旧的令牌，并在对话继续时用较新的令牌替换它们。但将 StreamingLLM 应用于 LLM 意味着它可以保留前四个令牌 - 然后再逐出第五个令牌。这意味着它仍然会忘记事情——因为它的记忆有限——但会记住第一次互动。

标记的顺序（以及它们是否被标记为第一、第二、第三等）也很重要，因为它们会输入到活动对话的“注意力图”中。这映射了每个令牌与其他令牌的相关程度。

例如，如果第五个令牌被逐出，您可能期望第六个令牌成为新的第五个令牌。但为了让 StreamingLLM 发挥作用，令牌必须保持原来的编码状态。在此示例中，第六个令牌不能仅仅因为它现在是第五个令牌而被编码为新的“第五个”令牌，而应保持编码为第六个令牌。 

科学家在论文中表示，这两项变化意味着聊天机器人在超过 400 万字时的表现与以前一样有效。它还比另一种短期记忆方法快 22 倍，后者通过不断重新计算早期对话的部分内容来避免性能崩溃。

“现在，通过这种方法，我们可以持续部署这些大型语言模型。通过制作一个我们可以随时与之聊天的聊天机器人，并且它可以随时根据我们最近的对话做出回应，我们可以在一些新应用程序中使用这些聊天机器人，该研究的主要作者、麻省理工学院电气工程和计算机科学研究生肖光轩在一份声明中说道。

StreamingLLM 已被纳入 Nvidia 名为 TensorRT-LLM 的开源 LLM 模型优化库中，开发人员将其用作自己的 AI 模型的基础。研究人员还计划改进 StreamingLLM，将其设计为在再次需要时查找并重新合并已被驱逐的代币。

ChatGPT 永远不会忘记

OpenAI 还在测试一种改善 ChatGPT 长期记忆的方法，以便用户可以继续对话并有效地与 AI 聊天机器人建立工作关系。

当与 LLM 交谈时，用户可以要求 ChatGPT 记住一些特定的内容，或者授予它自主权来记住对话中它认为适合存储以备后用的元素。这些记忆与特定对话无关，因此删除聊天并不会删除记忆——记忆本身必须在单独的界面中删除。除非手动删除这些内容，否则开始新聊天将预加载 ChatGPT 以及之前保存的内存。 

OpenAI 提供了几个示例来说明其用途。在一个示例中，聊天机器人会记住一位有 25 名学生的幼儿园老师更喜欢 50 分钟的课程和后续活动，并在帮助他们创建课程计划时回忆此信息。在另一个例子中，有人告诉 ChatGPT 他们的孩子喜欢水母——人工智能工具在为他们设计生日贺卡时会记住这一点。 

代表们在 2 月 13 日的一份声明中表示，该公司已向一小部分 ChatGPT 用户推出了新的内存功能，随后计划向所有用户进行更广泛的推广。 

公司代表在声明中表示，OpenAI 将利用记忆中的信息来改进其模型。不过，他们补充说，科学家正在采取措施评估和减轻偏见，并防止 ChatGPT 记住健康详细信息等敏感信息，除非用户明确要求这样做。具有内存访问权限的用户还可以使用“临时聊天”，其中内存完全停用。