从相机到自动驾驶汽车，许多当今的技术都依赖于人工智能来从视觉信息中提取意义。如今的人工智能技术以人工神经网络为核心，大部分时间我们可以信任这些人工智能计算机视觉系统能像我们一样看事物，但有时它们会出错。根据麻省理工学院和IBM的研究科学家，改进计算机视觉的一种方法是指导人工神经网络模仿大脑的生物神经网络处理视觉图像的方式。

由麻省理工学院(MIT)的詹姆斯·迪卡洛教授领导的研究人员，也是MIT-IBM沃森人工智能实验室的成员之一，通过训练一种计算机视觉模型，使其更加坚固，仿效人类和其他灵长类动物在目标识别方面所依赖的大脑部分的工作方式。在今年5月举行的国际学习表征会议上，团队报告称，当他们使用人脑颞下皮层(IT cortex)中的神经活动模式训练一种人工神经网络时，相较于没有接受神经训练的模型，这种人工神经网络能够更加坚固地识别图像中的物体。即使图像中包含使任务更加困难的轻微扭曲，该模型对图像的解释更接近人类的观察结果。

对比神经回路

许多用于计算机视觉的人工神经网络已经类似于人类和其他灵长类动物中处理视觉信息的多层脑回路。就像大脑一样，它们使用类似神经元的单元一起处理信息。在为特定任务进行训练时，这些分层组件共同而逐步地处理视觉信息以完成任务，例如确定图像描述的是一只熊、一辆汽车还是一棵树。

迪卡洛等人此前发现，当这种深度学习计算机视觉系统建立了解决视觉问题的高效方式时，它们形成的人工电路与处理视觉信息的神经回路在某种程度上非常相似，就好像是灵长类动物和人类视觉底层机制的出色科学模型一般。

那种相似性有助于神经科学家更深入地理解大脑。通过展示视觉信息如何被处理以理解图像的方式，计算模型提出了关于大脑如何完成相同任务的假设。随着开发人员不断完善计算机视觉模型，神经科学家在自己的工作中发现了新的探索思路。

“随着视觉系统在现实世界中的表现变得越来越出色，其中一些系统在其内部处理方面表现出更具人类特征的特点。这对于从理解生物学的角度来看非常有用。”脑与认知科学教授、麦戈文大脑研究所的研究员DiCarlo表示。

塑造一种更接近人类大脑的人工智能

虽然计算机视觉系统潜力巨大，但它们并不完全能模拟人类视觉。DiCarlo怀疑提升计算机视觉的一种方法可能是将与人类大脑类似的特征融入这些模型之中。

为了验证这个想法，他及其合作者通过使用以往收集自猴子IT皮层视觉处理神经元的神经数据，构建了一个计算机视觉模型。该猴子IT皮层是灵长类动物腹侧视觉通路中涉及物体识别的关键部分。在动物们观看各种图像时，与此相关的是哈佛大学研究生、前MIT-IBM Watson AI实验室实习生的乔尔·达佩洛以及约克大学助理教授、加拿大研究主席（视觉神经科学）以及MIT的访问科学家科希提·卡尔与大卫·考克斯，IBM研究副总裁（AI模型）以及MIT-IBM Watson AI实验室的IBM主任，以及IBM研究和MIT的其他研究人员的合作。他们要求一个人工神经网络在学习识别标准计算机视觉任务中的物体时，模拟这些灵长类动物视觉处理神经元的行为。

实际上，我们对网络说：“请解决这个标准计算机视觉任务，但也请尽可能使你内部模拟神经层的功能与相应的生物神经层的功能尽可能相似。”DiCarlo解释道。“我们要求它尽力实现这两个目标。”他称，这迫使人工神经电路找到了一种与标准的计算机视觉方法不同的处理视觉信息的方式。

在使用生物数据对人工模型进行训练之后，迪卡洛的团队将其活动与没有使用神经数据训练的类似规模的神经网络模型进行了比较，使用了计算机视觉的标准方法。他们发现，新的、受生物学知识指导的模型IT层——正如预期的那样——更符合IT神经数据。也就是说，在测试的每张图片中，模型中的人工IT神经元群体对应地更类似于生物IT神经元群体的响应。

研究人员还发现，即使模型从未见过那只动物的数据，而且即使将该比较应用于那只猴子对新图像的IT反应，模型IT仍然与从另一只猴子收集到的IT神经数据更加匹配。这表明，团队的“神经对齐”计算机模型可能是灵长类IT皮层神经生物学功能的改进模型，这是一个有趣的发现，因为以前并不清楚从灵长类视觉系统中目前可以收集的神经数据量能否直接指导模型的发展。

拥有他们的全新计算机模型后，研究团队探究了“IT神经对齐”程序是否还会对模型的总体行为表现产生任何变化。事实上，他们发现这种神经对齐的模型在行为上更接近人类——它在正确分类与人类同样成功的图像中更趋于成功，并且在人类失败的情况下也更容易出现失败。

对抗攻击

团队还发现，神经对齐模型对于开发人员用于测试计算机视觉和人工智能系统的“敌对攻击”更具抵抗力。在计算机视觉中，敌对攻击会对图像进行微小扭曲，旨在误导人工神经网络。

迪卡洛解释道：“假设你有一张图像，模型将其识别为一只猫。由于你对模型的内部运作有所了解，你可以对图像进行微小的改动，让模型突然认为它不再是一只猫。”

这些细微的变形通常无法欺骗人类的眼睛，但对于计算机视觉模型来说，这些改变却很棘手。一个观察这个微妙扭曲的猫的人仍然可靠而坚定地确认它是只猫。然而，标准的计算机视觉模型更容易将这只猫误认为狗，甚至是一棵树。

迪卡洛表示：“我们大脑处理图像的方式中一定存在一些内在差异，这导致我们的视觉更加抵抗此类攻击。”团队的确发现，当他们使他们的模型更加神经对齐时，其在面临敌对攻击时变得更加稳健，能够正确识别更多的图像。迪卡洛表示，该模型仍然可能被更强的“攻击”欺骗，但人类也是如此。他的团队正在探索人类对敌对鲁棒性的极限。

几年前，迪卡洛的团队发现他们还可以通过设计人工神经网络的第一层来模拟大脑中的早期视觉处理层，从而提高模型对对抗性攻击的抵抗能力。下一步的关键是将这些方法结合起来，创建能够在多个视觉处理层上同时与神经对齐的新模型。

这项新工作进一步证明了神经科学和计算机科学之间的思想交流可以推动两个领域的进步。"人人都从自然/生物智能和人工智能之间的激动人心的良性循环中获益，" DiCarlo说道。"在这种情况下，计算机视觉和人工智能研究人员得到了实现鲁棒性的新方法，而神经科学家和认知科学家则得到了更准确的人类视觉机制模型。"