机器学习可以近乎实时地将思想转化为语音

煤油灯科技2022-11-30 11:15

当你读完一句话时,把目光从屏幕上移开一会儿,在脑海中重复一遍,你是否确切知道这种内在的“声音”来自你大脑的哪个部位?

多年来,研究人员一直试图找出大脑中负责这种“内心独白”的区域,一个被认为很有可能的候选区域是一个叫做边缘上回(supramarginal gyrus)的区域,它位于眼球稍北,耳朵稍后的位置。

根据最近在神经科学学会会议上发表的一项新研究,边缘上回可以帮助科学家翻译人们的内心想法。

“我们都对这项工作感到非常兴奋,”加州理工学院的研究生研究员、该研究的主要作者Sarah Wandelt说。

这项研究可能最终会帮助那些能听能想但失去说话能力的人,比如患有卢伽雷氏症(Lou Gehrig’s disease)的晚期患者。“想到它可能会帮助那些处于最封闭状态的人,这很酷,”Wandelt说。

边缘上回主要是帮助人们处理工具的作用,所以当Wandelt的团队第一次将他们的植入物放入参与者的大脑(一个被称为“FG”的人,他的颈部以下都瘫痪了,但能够说话)时,他们最初是在寻找一种方法来帮助瘫痪的患者抓取物体。

但他们注意到,当FG阅读屏幕上的单词时,该区域也会发光,Wandelt解释说,这时研究人员决定改变路线,看看这种预感会带来什么结果。

研究人员正在研究多种技术来破译人们的思想

Wandelt的团队随后开始捕捉这种“内心语言”——研究将其定义为“在不动任何肌肉的情况下,在内心使用一个提示词”。

科学家们给FG一个词,让他在脑子里“说”这个词,然后让他大声说出这个词。在每个阶段,FG大脑中的电极都会收集信息,并教会机器学习算法识别与每个单词对应的大脑活动。

除了两个编造的“无意义”单词外,该团队一共用英语和西班牙语研究了6个单词,当他们要求FG再次思考这些单词时,计算机可以预测结果,准确率高达91%。

因为说话是一个复杂的过程,涉及到大脑的多个区域,Wandelt的策略并不是解决翻译问题的唯一方法。加州大学旧金山分校(University of California San Francisco)的博士后研究员David Moses没有参与这项新研究,他说:“我认为有很多可行的策略,很多不同的团体正在尝试不同的东西,这很酷。”

David Moses的团队通过测量感觉运动皮层的活动来捕捉发送到发声肌肉的信号,这种方法不像加州理工学院的团队那样解码患者的内心语言,而是预测患者试图大声说出的话。

在2019年和2020年,他们训练他们的深度学习计算机模型来识别一位患者对应50个单词的大脑活动,虽然他们的程序记录的词汇量比加州理工学院的程序大,但David Moses指出,后者的训练时间令人印象深刻,每个单词的数据量约为24秒,这是非常快的训练。

随着可能选择的单词数量的增加,计算机选择正确单词的几率也在减少,这意味着,要扩大程序的规模以处理更大的词汇量将是一项挑战。研究人员还需要确保他们可以在其他学科中复制他们的结果,这是一项艰巨的任务,因为每个人的大脑都是独一无二的,很难将植入物精确地植入不同人的同一位置。

对于像Moses和Wandelt这样的研究人员来说,最高目标是尽可能实时地翻译完整的句子。对于那些失去了口头交流能力的人来说,与其他需要额外步骤的辅助方法相比,这将更好地反映说话的体验,比如史蒂芬·霍金使用的设备——他通过移动脸颊肌肉来打字。

像功能磁共振成像这样的仪器不能足够快地进行测量,以捕捉可转化为语音的信号,因此研究人员不得不依靠高风险和高侵入性的手术来安装大脑植入物,以收集这些数据。但无线大脑植入物目前正在研究中,它们可以让患者在使用设备时更自由地走动,而不是一直连接在电脑上。

埃隆·马斯克 (Elon Musk) 颇受争议的 Neuralink 公司就是开发植入物以恢复残疾人某些功能的公司之一

如果有一天,这个系统泄露我们最亲密的内心对话呢??这个概念当然会让人想到一个假设的反乌托邦,在这个反乌托邦中,政府或科技公司可以不经我们同意就读懂我们的想法,但研究人员强调,他们的技术无法捕捉到大多数人认为自己的私人想法。

事实上,FG必须高度专注于每个单词来完成实验——在测量他的内心语言之前,研究人员和FG必须确保他们对“内心语言”到底是什么达成一致。Wandelt说:“这很难研究,因为它依赖于人们必须报告自己的一些情况。每个人都有不同的做法。”

对一些人来说,这个实验不会捕捉到他们自然的内心独白,这些独白可能更多地由视觉图像或快速的声音片段组成。相反,Wandelt和他的同事们只能慢慢地、一次一个地理解单词。Wandelt说:“我认为,如果病人只是随意地想一些事情,那就根本不起作用。”

因此,虽然一种能够探测内心语言的技术不能算作“读心术”,Moses说。“它确实离我们更近了一步。”


原文链接:https://www.inverse.com/innovation/thoughts-to-speech-machine-learning


---煤油灯科技victorlamp.com翻译整理---

你可能也喜欢这些文章

科技互联网,科技,资讯,动态,洞察,量子,计算,AI,人工智能,机器人,区块链,Web3,分布式,操作系统,OS,芯片,视频,深度,论文