大脑知识体系框架，让失语者能说话

大脑知识体系框架，让失语者能说话在过去的研究中，人们对于大脑控制声道进行发声运动的原理已经有了较为丰富的发现。研究人员根据这些神经生物学发现并利用机器学习，发现可以从没有语言障碍的人大脑活动中解码语音。通过脑机接口来控制电脑打字的方法已经取得了较大的进步，语言障碍者可以控制计算机光标来拼出信息。然而，通过神经信号来驱动信息界面逐字进行选择极为费力和低效。研究人员认为，直接从控制语言的大脑区域解码整个单词会更加高效自然。研究人员在接受实验的男子大脑中控制声道的相关区域植入一个电极阵列，当男子试图回答屏幕上显示的问题时，机器学习算法能够自动识别其脑中出现的单词，并转换为实时的句子。7月15日这项研究发表在《新英格兰医学杂志（New England Journal of Medicine）》上，论文题目为Neuroprosthesis for Decoding Speech in a Paralyzed Person with

智东西（公众号：zhidxcom）

编译 | 王健恩

编辑 | 高歌

智东西7月16日消息，美国加州大学旧金山分校（UCSF）的一项研究利用脑机接口技术将人脑中想要说出来的话转换为文字，让严重瘫痪的失语男子再次“开口说话”。该研究项目名为Project Steno，由UCSF在Facebook的资助下完成。

研究人员在接受实验的男子大脑中控制声道的相关区域植入一个电极阵列，当男子试图回答屏幕上显示的问题时，机器学习算法能够自动识别其脑中出现的单词，并转换为实时的句子。

7月15日这项研究发表在《新英格兰医学杂志（New England Journal of Medicine）》上，论文题目为Neuroprosthesis for Decoding Speech in a Paralyzed Person with Anarthria。

论文链接：https://www.nejm.org/doi/pdf/10.1056/NEJMoa2027540?articleTools=true

一、研究者欲将大脑活动直接转为文字

通过脑机接口来控制电脑打字的方法已经取得了较大的进步，语言障碍者可以控制计算机光标来拼出信息。然而，通过神经信号来驱动信息界面逐字进行选择极为费力和低效。研究人员认为，直接从控制语言的大脑区域解码整个单词会更加高效自然。

在过去的研究中，人们对于大脑控制声道进行发声运动的原理已经有了较为丰富的发现。研究人员根据这些神经生物学发现并利用机器学习，发现可以从没有语言障碍的人大脑活动中解码语音。

不过，患有语言障碍的患者无法进行语音输出，神经活动记录无法与预期语音进行精确对齐，这给训练计算模型构成了障碍。

研究者使用深度学习算法创建计算模型，用于从记录的皮层活动中检测单词并进行分类。最终研究者运用这些模型及一个自然语言模型，在接收实验者试图说出某些句子时将其完整解码。

脑机接口工作原理示意图

二、收集大脑信号反复训练，实现精准解码

论文的主要作者David Moses博士说：“这是第一次有人将大脑活动中自然想说的话解码成单词。与其他脑机接口实验一样，这项研究不是读心术，它依赖于对大脑活动的感知。”

参与这次实验的男子瘫痪在床且失声多年，仅能发出咕噜声和呻吟声。他通常使用头部运动控制辅助计算机打字与他人交流。

研究人员将一个电极阵列植入男子脑中，以获取大脑信号。该电极阵列与一个连接器相连，并最终与计算机连接。当实验进行时，电极阵列获取的大脑信号被传输到计算机中，并通过定制软件对实时信号进行分析。

在实验过程中，研究者将目标单词或句子在屏幕上以文本形式呈现给实验参与者，然后让参与者尝试“说”出该目标。研究者通过这样一次次的实验，不断地收集神经活动数据来训练、微调和评估语音检测和单词分类模型。这些模型可以利用深度学习从神经活动中进行单词和句子的预测。

为了在参与者“说”出句子的同时对神经信号进行解码，研究者还使用了自然语言模型和Viterbi解码器。Viterbi解码器也是一种模型，它可以根据预测到的单词结合自然语言模型确定出最有可能的单词序列，并串联成更加合理的句子。

通过不断改进，研究者发现实验中一半以上的句子都被完美解码，证明可以通过高密度记录大脑皮层活动来实时解码完整的单词和句子。

男子尝试回答屏幕上的问题

三、脑机接口仍需完善，要转为非入侵性接口

David Moses博士称在Facebook的资助完成后这项研究将继续进行，未来还有很多工作要做。目前研究者尚不清楚有多少语音识别结果来自记录的大脑活动模式，有多少来自其他因素。另外，该团队还没有将这种脑机接口转换为非入侵性的神经接口。

Facebook现实实验室（Reality Labs）拥有自己的非侵入性头戴式研究头套原型，可以用于研究大脑活动。Facebook已经宣布计划将这些用于开源研究项目，因为它不再专注于头戴式神经硬件。

不过UCSF进行这项实验仅获得了Facebook的资金支持，未用到Facebook的硬件设备。

结语：脑机接口提高失语者生活质量

接受实验的男子瘫痪且失声，尽管有着完整的认知功能，却因身体限制给生活、交流造成诸多不便。利用这项技术，他重新“开口说话”，实现与家人、护理人员的交流和沟通，这将大大提高其生活质量。

不过这项技术仍有较多待完善的地方，入侵性接口也会给使用者带来诸多不便。同时该技术目前只能识别较简单的内容，准确率仍有待提高。

这类面向普通消费者的神经技术仍处于起步阶段，虽然存在非入侵性的头戴式或腕带式传感器，但准确率远不如植入式电极。

来源：New England Journal of Medicine、CNET