
“Alexa,回放一下我上周关于克尔斯滕的那个梦。” 这是一个在未来可能不会太遥远的命令,因为研究人员正在接近可以进入我们的思想并检索我们思想的图像的技术。
新加坡国立大学和香港中文大学的研究人员上周报告说,他们已经开发出一种能够从大脑扫描中生成视频的程序,该研究发表在arXiv预印本服务器上。
使用称为功能磁共振成像 (fMRI)的过程,研究人员 Jiaxin Qing、Zijiao Chen 和 Juan Helen Zhou 将通过成像检索的数据与深度学习模型 Stable Diffusion 耦合,以创建流畅、高质量的视频。
近几个月来,有报道称,通过常用于图像生成的 AI 辅助稳定扩散技术,可以成功再现从大脑活动中收集到的静止图像。但是,正如 Qing 和他的团队所报告的那样,检索连续的视觉图像提出了一个特殊的挑战。

fMRI 的过程通常会利用血氧水平依赖性 (BOLD) 信号并每隔几秒捕获一次大脑活动的图像。这会产生质量较差的视频图像,标准的视频捕获速率是每秒 30 帧。
“了解隐藏在我们复杂大脑活动中的信息是认知神经科学中的一大难题,”Qing 说。“从大脑记录中重建人类视觉的任务,尤其是使用像 fMRI 这样的非侵入性工具,是一项令人兴奋但艰巨的任务。”
他的团队使用他们的 Mind-Video 模型制作了高质量的视频。它的 fMRI 解码器被描述为“旨在弥合图像和视频大脑解码之间差距的双模块管道”,它的 fMRI 解码器逐步从获取的大脑信号中学习,使用图像数据库进行训练和微调。
他们说,结果是高质量的视频,完整的运动和场景动态,准确率为 85%。
Qing 说,他们的工作显示了未来“从神经科学到脑机接口”的大型模型应用前景。

使用 AI 以及 MRI 和 EGM(肌电图)来研究图像、大脑活动和肌肉运动正在为思维的运作开辟新的前景,大阪大学的神经科学家 Shinji Nishimoto 说,这些过程可能有一天会被用来捕捉思想和梦想。
梦境研究员 Daniel Oldis 与德克萨斯大学奥斯汀分校认知神经科学实验室的一位同事合作,正在研究梦境记录 MRI 技术,该技术可以追踪大脑活动和肌肉中的神经冲动,从而定义梦境中的图像、语言和运动。
“这就像太空竞赛的早期,”他最近说。“但在这种情况下,我们将进入梦想空间。”
一般人每晚最多做六个梦,但在醒来后几分钟内就会忘记其中 90% 的梦,捕捉永久的梦记录的前景令人振奋。
几个世纪以来,梦一直让我们迷惑不解。在早期文化中,梦被认为是来自上帝的信息。在 20 世纪,弗洛伊德提出了梦境背后压抑性冲动和情感冲动的观点。
我们的一些最伟大的灵感来自于我们每个晚上都进行的夜间旅行。
被 BBC 电台评选为 20 世纪最佳歌曲的披头士乐队《昨天》的旋律,是保罗·麦卡特尼在梦中听到的。滚石乐队的热门单曲“Satisfaction”中著名的三音开场重复段在半夜传到 Keith Richards 耳边;他醒来录制了这首歌的粗略版本,睡意朦胧地喃喃自语“我无法得到满足”,然后又睡了过去,直到那天早上听录音带时才意识到自己记下了什么。
萨尔瓦多·达利 (Salvator Dali) 将他的《记忆的永恒》等奇幻超现实主义作品称为“手绘梦幻照片”。
一个紧张的学生担心他被斯坦福大学录取是一个错误,他做了一个焦虑的梦,梦中他将整个网络下载到他的电脑上。当他醒来时,他开始了一项计划,希望有一天每月吸引 890 亿观众,每秒回答 99,000 个查询。他的名字:拉里·佩奇,他的创造:谷歌。
记录和传播我们的梦——从噩梦到改变游戏规则的鼓舞人心的想法——现在可能只是一个梦想。
但正如 Qing、Oldis 和其他人的作品所表明的那样,不会持续太久。
参考链接:https://techxplore.com/news/2023-05-ai-tool-generates-video-brain.html









