人工智能和大脑植入使 ALS 患者“多年来第一次”轻松地与家人交谈

一位研究人员描述了人工智能设备背后的技术，该设备可以将思想转化为语言，供无法说话的人使用。

当您通过我们网站上的链接购买时，我们可能会赚取联属佣金。这是它的工作原理。

脑机接口是一项突破性的技术，可以帮助瘫痪的人恢复失去的功能，比如移动手。这些设备记录来自大脑的信号并破译用户的预期动作，绕过通常会传输这些大脑信号来控制肌肉的受损或退化的神经。

自 2006 年以来，人类脑机接口的演示主要集中在通过使人们能够控制计算机光标或机械臂。最近，研究人员开始开发语音脑机接口，以帮助无法说话的人恢复沟通。

当用户尝试说话时，这些脑机接口会记录该人与尝试说话的肌肉运动相关的独特大脑信号，然后将其翻译成单词。然后，这些单词可以在屏幕上显示为文本，或者使用文本转语音软件大声朗读。

我是加州大学戴维斯分校神经修复实验室的研究员，该实验室是BrainGate2临床试验的一部分。我和我的同事最近展示了一种语音脑机接口，它可以破译患有 ALS 或肌萎缩侧索硬化症（也称为卢伽雷氏病）的患者的尝试言语。该界面将神经信号转换为文本，准确率超过 97%。我们系统的关键是一组人工智能语言模型——帮助解释自然语言的人工神经网络。

相关：新型“思想控制”设备通过颈静脉读取大脑活动

记录大脑信号

我们的语音脑机接口的第一步是记录大脑信号。大脑信号有多种来源，其中一些需要手术才能记录。通过手术植入的记录设备可以捕获高质量的大脑信号，因为它们放置得更靠近神经元，从而产生更强的信号，干扰更少。这些神经记录设备包括放置在大脑表面的电极网格或直接植入脑组织的电极。

在我们的研究中，我们通过手术将电极阵列放置在参与者凯西·哈雷尔的言语运动皮层中，言语运动皮层是大脑中控制与言语相关的肌肉的部分。当 Harrell 试图说话时，我们记录了 256 个电极的神经活动。

解码大脑信号

下一个挑战是将复杂的大脑信号与用户试图说的话联系起来。

一种方法是将神经活动模式直接映射到口语单词。该方法需要多次记录每个单词对应的大脑信号，以识别神经活动与特定单词之间的平均关系。虽然这种策略对于小词汇量来说效果很好，正如 2021 年一项 50 个单词词汇量的研究所证明的那样，但对于较大的词汇量来说就变得不切实际了。想象一下，要求脑机接口用户多次尝试说出字典中的每个单词——这可能需要几个月的时间，而且对于新单词仍然不起作用。

相反，我们使用另一种策略：将大脑信号映射到音素，即构成单词的声音的基本单位。英语中有 39 个音素，包括 ch、er、oo、pl 和 sh，可以组合形成任何单词。我们可以通过要求参与者大声朗读几个句子来多次测量与每个音素相关的神经活动。通过准确地将神经活动映射到音素，我们可以将它们组装成任何英语单词，甚至是系统没有明确训练过的单词。

为了将大脑信号映射到音素，我们使用先进的机器学习模型。这些模型特别适合这项任务，因为它们能够在大量复杂数据中找到人类无法辨别的模式。将这些模型视为超级聪明的听众，可以从嘈杂的大脑信号中挑选出重要信息，就像您在拥挤的房间里专注于谈话一样。使用这些模型，我们能够以超过 90% 的准确率破译尝试语音期间的音素序列。

从音素到单词

一旦我们破译了音素序列，我们就需要将它们转换成单词和句子。这是具有挑战性的，特别是如果破译的音素序列不完全准确的话。为了解决这个难题，我们使用两种互补类型的机器学习语言模型。

第一个是 n-gram 语言模型，它预测哪个单词最有可能跟随一组 n 个单词。我们在数百万个句子上训练了一个 5 克或五个单词的语言模型，以根据前四个单词预测单词的可能性，捕获本地上下文和常用短语。例如，在“我很好”之后，它可能比“土豆”更有可能建议“今天”。使用这个模型，我们将音素序列转换为 100 个最可能的单词序列，每个序列都有一个相关的概率。

第二个是大型语言模型，它为人工智能聊天机器人提供动力，并预测哪些词最有可能跟随其他词。我们使用大型语言模型来完善我们的选择。这些模型经过大量不同文本的训练，对语言结构和含义有更广泛的理解。它们帮助我们确定 100 个候选句子中哪一个在更广泛的上下文中最有意义。

通过仔细平衡 n-gram 模型、大语言模型和我们最初的音素预测的概率，我们可以对脑机接口用户想要说什么做出有根据的猜测。这个多步骤过程使我们能够处理音素解码中的不确定性，并生成连贯的、上下文适当的句子。

现实世界的好处

在实践中，这种语音解码策略非常成功。我们让患有 ALS 的凯西·哈雷尔 (Casey Harrell) 能够仅凭自己的想法“说话”，准确率超过 97%。这一突破使他多年来第一次能够在舒适的家中轻松地与家人和朋友交谈。

语音脑机接口代表着恢复沟通方面向前迈出的重要一步。随着我们不断改进这些设备，它们有望为那些失去说话能力的人提供发声的机会，让他们与亲人和周围的世界重新建立联系。

然而，挑战仍然存在，例如如何使该技术在多年使用中更易于使用、便携和耐用。尽管存在这些障碍，语音脑机接口仍然是科学和技术如何结合起来解决复杂问题并显着改善人们生活的有力例子。

这篇编辑过的文章是根据知识共享许可从 The Conversation 重新发布的。The Conversation。阅读原始文章。