人类大脑如何在复杂情境中进行导航，比如在下午五点驾驶车辆穿越哈佛广场的交通堵塞中？

心理学家和神经科学家中越来越有人支持一种理论，即大脑会创造世界的因果模型，以帮助规划和执行。这类似于进行心理模拟，观察不同结果的好坏。“你会学习这种内部环境模型，可以用来预测采取不同行动时会发生什么，”心理学教授塞缪尔·格什曼的计算认知神经科学实验室的助理莫姆奇尔·托莫夫解释道。

在近几十年中，计算机科学家将这些思想发展成了一种被称为强化学习（或简称RL）的系统。像Tomov这样的研究人员，致力于心理学和技术的交叉领域，甚至引入了计算模型，试图捕捉强化学习在大脑中的实际应用。在Neuron杂志上发表的一篇新论文中，Tomov及其合著者使用功能磁共振成像（fMRI）将他们的算法理论与真实世界的成像进行了比较。

为什么要设计试图形式化人类思维和决策的算法呢？"没有一个精确的计算模型将输入映射到输出，研究认知过程就会变得困难。" 托莫夫说，他在2019年在哈佛大学取得神经生物学博士学位，并在2021年以博士后的身份与格什曼合作。

研究人员同时期望他们的工作能够在强化学习领域取得进展，并被认为是人工智能中最引人注目的成功之一。事实上，它在棋类和电子游戏等领域已经超过了人类，但直到最近才被证实是一种相对较慢的学习方式。"那些更类似人类的算法在某些领域中可以比传统的机器学习更优秀，" Tomov说道。

该团队的实验借鉴了该研究的两位合作者的先前工作。托马斯·庞西是格什曼实验室的另一位博士研究生，在2021年提出了一个基于更复杂的理论的RL系统。麻省理工学院的博士后研究员佩德罗·茨维迪斯随后在一篇论文中介绍了一个基于计算理论的RL模型。在学习新的视频游戏方面，它证明比之前的迭代更快。在速度方面，汤姆夫说，它更接近人类完成这种任务的能力。

整个过程使研究人员推测人类决策和学习的神经结构。在这项新研究中，研究人员对32名参与实验的志愿者进行了算法测试，这些志愿者在连接到功能磁共振成像扫描仪时玩并最终掌握了类似Atari风格的视频游戏，该扫描仪可以测量伴随脑活动的微小血流变化。

正如研究人员所预期的那样，这提供了大脑前额叶皮层中基于活动理论的模型的证据，而理论更新发生在后部皮层，即大脑的后部。然而，他们的假设和算法分歧的地方在于细节。

研究人员特别预期在眶额叶皮质找到基于理论的模型的证据。然而，他们在下颌额回中找到了这些证据。Tomov表示，回想起来这是合情合理的，因为Gershman实验室的先前研究发现下颌额回参与了学习“统治世界的因果规则”。

在大脑后部发现了更多的惊喜，即后枕皮质和腹侧通路——它们都与视觉处理密切相关——在这些模型需要更新时似乎参与其中。“每当你获得与当前理论不一致的令人惊讶的信息时，我们不仅可以在腹侧通路中看到更新信号，而且还可以在额叶下沟激活该理论，”汤姆夫总结道。

最终，功能性磁共振成像(fMRI)揭示了大脑中信息的传递方向。Tomov和他的合著者假设信息会自底向上流动。然而，实际情况似乎是在游戏过程中信息以自顶向下的方式流动。

他说：“就像是信息从模型中产生，储存在前额叶皮质某处然后向后方视觉区域流动一样。但当出现差异时，也就是当更新发生时，信息流的模式会颠倒。现在信息从后方区域向前方区域自下而上地流动。”

Tomov和Gershman一起研究基于理论的强化学习已经有四年了。两年前，他开始作为波士顿某创业公司的全职员工将这些想法应用到自动驾驶汽车上。"你如何在不撞到任何人的情况下从这里到达下一个十字路口并进行左转呢？"他问道。"基本上，这里有一个内部的世界模型，包括其他司机以及对他们行为的预测。"