
人类的感官系统非常擅长识别我们看到的物体或听到的话语,即使这个物体是倒立的,或者这个话语是由我们从未听过的声音说出来的。
计算模型被称为“深度神经网络”,可以被训练出来做同样的事情,无论狗的毛色如何,或者说话者的声调如何,都能正确地识别出狗的图像或单词。然而,来自麻省理工学院的神经科学家进行的一项新研究发现,这些模型往往也对与目标毫无相似之处的图像或单词做出相同的响应。
当这些神经网络被用来生成与特定自然输入(例如熊的图片)同样引发它们反应的图像或单词时,大多数产生出的图像或声音对人类观察者来说是难以识别的。这表明这些模型形成了自己独特的“不变性”,即它们对具有非常不同特征的刺激以相同的方式作出反应。

这些发现为研究人员提供了一种新途径,以评估这些模型对人类感知组织的模仿程度,麻省理工学院大脑与认知科学副教授、麦戈文脑研究所和大脑、思维与机器中心成员约什·麦克德莫特指出。
“这篇论文表明,你可以使用这些模型来推导出最终非自然信号,这些信号对模型中的表示非常有诊断意义。”这项研究的高级作者麦克德莫特表示:“这项测试应成为我们领域用来评估模型的一系列测试的一部分。”
不同的感知
近年来,研究人员训练了能够分析数以百万计的输入(声音或图像)的深度神经网络,并学习了共同特征,使其能够将目标词语或物体进行大致准确的分类,几乎与人类一样。目前,这些模型被视为生物感知系统的领先模型。
相信人类感官系统在进行这种分类时,会学会忽略与物体核心身份无关的特征,比如光线的亮度或者观察角度。这被称之为不变性,即使在次要特征上存在差异,人们仍然会感知到物体的相同性质。
“从古典的角度来看,我们对感官系统的理解是,它们在面对同一事物的各种差异的来源时,逐渐形成了一种稳定性,以识别它们是同一事物,尽管它们表现为截然不同的感官信号。” Feather说道。
研究人员们纳闷深度神经网络是否会在进行分类任务训练时产生类似的不变性。为了尝试回答这个问题,他们利用这些模型生成了一些刺激,使得这些刺激在模型内产生与研究人员提供给模型的示例刺激相同类型的反应。

他们将这些刺激称为“模型变相者”,重新唤起了经典感知研究中的一个观念,即无法区分的刺激可以用来诊断系统的不变性。“变相者”的概念最初是在人类感知研究中发展起来的,用来描述看起来相同但由不同波长的光组成的颜色。
令他们惊讶的是,研究人员发现,通过这种方式产生的大多数图像和声音与模型最初所给出的示例完全不同。大部分图像是由随机像素拼凑而成,而声音则类似于难以理解的噪音。当研究人员将这些图像展示给人类观察者时,通常情况下,人们并未将由模型合成的图像与原始目标示例归为同一类别。
“它们对于人类来说完全无法被识别。它们看起来和声音都不自然,也没有能被人类用来分类物体或单词的可解释特征。” Feather说。
研究结果表明,这些模型以某种方式发展了自己的不变性,与人类感知系统中所发现的不同。这导致这些模型尽管对人类来说看起来大相径庭,却将一对刺激视为相同。
个人特异性的不变性
研究人员发现这一效应在许多不同的视觉和听觉模型中都存在。然而,每个模型似乎都发展出了自己独特的不变性。当将一个模型的变换物展示给另一个模型时,这些变换物对第二个模型来说与它们对人类观察者一样无法识别。
“从那个中关键推论是,这些模型似乎具备了我们所说的独特不变性,”麦克德莫特说道。“它们学会了对刺激空间中的这些特定维度保持不变,而且这种不变性是特定于模型的,其他模型并没有相同的不变性。”
研究者们还发现,通过使用一种称为对抗训练的方法,他们可以使模型的形像在人类眼中更容易识别。对抗训练这种方法最初是为了克服目标识别模型的另一个限制而开发的,即引入几乎察觉不到的微小变化到图像中可能导致模型误识别。
研究人员发现,对抗性训练中包含一些稍微改变的图像数据,能够使生成的模型产生更能让人类识别的错觉目标,尽管与原始刺激相比,这种识别度仍不够。研究人员表示,这种改进似乎与训练对模型抵抗对抗攻击的能力的影响无关。
“这种特定形式的培训有着巨大的影响,但我们实际上不知道它为何产生这种影响,”费瑟说道。“这将成为未来研究的一个领域。”
研究人员表示,分析计算模型产生的元组色彩可以成为一种有益工具,用于评估计算模型在模仿人类感知系统的基本组织方面的相似程度。
“这是一项行为测试,您可以在给定的模型上运行它,以查看模型与人类观察者之间是否共享不变性,” Feather说道。“它还可以用于评估特定模型内的不变性是否特异,这有助于发现未来改进我们模型的潜在方法。”