首页 AI写作 正文

现实版读脑术来了,把你的脑电波变成语音或文字

现实版读脑术来了,把你的脑电波变成语音或文字

真正版的“读脑”来了,把你的脑电波变成语音或文字

头图来源:ICphoto,原标题:《中国教授用AI解码脑电波,进行现实版‘读脑’,直接从大脑思维合成文本或语音”

许多患有神经系统疾病的患者失去了说话的能力,不得不依赖特定的通讯设备进行交流。这些设备大多使用脑机接口或头眼运动来控制光标选择屏幕上的字母来拼写句子。他们会说。但这种跳词的过程实在是和人类正常的言语过程无法比拟的。

3月30日,《自然神经科学》发表了加州大学旧金山分校华裔教授EdwardChang及其同事开发的脑电波AI解码器,可以直接将大脑活动信号转换为句子文本。

具体来说,研究人员首先使用电极记录受试者说话时的神经活动信号,并利用特定句子与神经信号特征之间的相关性数据来训练AI算法。实验表明,经过训练的机器翻译算法可以准确解码受试者的语音。它捕捉受试者的神经活动,并将其近乎实时地翻译成句子文本,错误率低至3%。

从大脑“读懂”人们的意图

说话似乎是一件毫不费力的事情,但说话实际上是人类进行的最复杂的活动之一。十多年前,科学家首次从大脑信号中解码出语言,但语言解码的准确性和速度始终远低于自然语言交流。

目前一些用于大脑定向书写的脑机接口技术实际上依赖于头部或眼睛的残余非语言运动或光标控制来逐一选择字母并拼写单词,这目前可以帮助瘫痪的人。通过设备每分钟传输8个字。

然而,与自然语言交流时每分钟150个单词的平均速度相比,现有技术的输出速度仍然太慢。

史蒂芬·霍金使用特殊的语音合成器与外界交流

理论上,脑机接口技术可以通过直接从大脑“读取”人的意图并利用该信息来控制外部设备或移动瘫痪肢体,从而帮助瘫痪者说话或移动。

为了通过脑机接口直接解码语言获得更高的准确性,研究人员利用了机器翻译任务和从神经活动解码语音之间的相似性。也就是说,与机器翻译类似,解码语言也是从一种语言到另一种语言的算法翻译。这两个任务实际上映射到同一个输出,即一个句子对应的单词序列。然而,机器翻译的输入内容是文本,而解码语言的输入内容是神经信号。

因此,研究人员盘点了机器翻译的最新进展,利用这些方法来训练循环神经网络,然后尝试将神经信号直接映射到句子中。

语言相关神经活动的解码过程

具体来说,研究人员使用电极记录了四名受试者大声朗读句子时的神经活动。然后,研究人员将这些数据添加到循环神经网络中,以表示经常出现的神经特征,这些特征可能与语音的重复特征有关,例如元音、辅音或发音器接收到的指令。

然后研究人员通过另一个循环神经网络逐字解码该算法表示以形成句子。研究人员发现,明显参与语音解码的大脑区域也参与语音产生和语音感知。使用这种机器翻译算法,研究人员对一个受试者进行了测试,结果表明,通过神经活动解码为口语句子的错误率低至3%。

此外,如果循环网络对一个人的神经活动和语音进行预训练,然后对另一个主题进行训练,那么最终的解码结果会得到改善,这意味着这种方法在不同的人之间可能会更好。然而,还需要进一步的研究来更全面地研究该系统的功能,并将解码范围扩展到仅限于研究的语言之外。

脑机接口AI合成语音

通过解码大脑活动信号直接合成文本或语音不仅是科幻小说中的“读心技术”,而且也是一种有前途的治疗解决方案。

控制光标拼写单词只是离散字母的连续链接,而解码语言则是一种有效的交流形式。直接语音或文本合成比基于拼写的方法具有许多优点。除了能够以自然语速提供无限词汇量之外,直接语音合成还可以捕获语音的韵律元素,例如音高、语调等。

对于肌萎缩侧索硬化症或脑干中风导致的瘫痪患者来说,通过直接记录大脑皮层的神经控制信号来合成语音是实现高自然语言交流率的唯一手段和最直观的方法。

去年4月,EdwardChang等人还在《自然》杂志上发表了一种可以将大脑活动转化为语音的解码器的开发成果。这种人类语音合成系统解码与人类下巴、喉部、嘴唇和舌头运动相关的大脑信号,并合成个人希望表达的语音。

由EdwardChang授课老师

为了重建语音,研究人员设计了一个循环神经网络(RNN),它首先将记录的皮层神经信号转换为声道发音运动,然后将这些解码的运动转换为口语句子。

整个过程分为两步:第一步,神经信号被转换为声道咬合部分(红色)的运动,其中涉及发声的解剖结构(嘴唇、舌头、喉部和下颌)。为了实现神经信号到声道各比特部分运动的转换,需要大量与声道运动及其神经活动相关的数据。但研究人员很难直接测量每个人的声音动作,因此他们建立了一个循环神经网络,根据之前收集的声音动作和语音录音的大型数据库进行关联。第二步是将声道咬合部分的运动转化为合成语音。

研究人员的两阶段解码方法产生的语音失真率明显低于使用直接解码方法获得的语音。在101个句子的试验中,听众可以轻松识别并记录合成语音。

在科幻世界里,通过意念信号控制外部设备是非常酷的。事实上,脑机接口技术在现实世界已经有近一百年的历史。

随着脑机接口科学研究和应用技术的不断突破,特别是人工智能算法的加持,为许多目前难以解决的问题提供了更好的探索工具。它不仅可以帮助人们进一步了解自己的大脑,更重要的是为大脑及其他严重疾病的诊断和治疗提供解决方案,甚至广泛应用于睡眠管理、智能生活、残疾人康复等领域。

参考:

https://nature.com/articles/s41593-020-0608-8

https://www.nature.com/articles/s41586-019-1119-1

https://mp.weixin.qq.com/s/ZjAW1CDUli1VXpWcNnF-sQ

本文转载自互联网,如有侵权,联系删除

本文地址:https://www.5i818.cn/2452.html

相关推荐

发布评论

文章目录