牛津大学的研究人员发现，深度神经网络天生就更倾向于简单的解决方案，这增强了它们从数据中总结规律的能力。这一发现可能揭示了人工智能与自然进化过程之间更深层次的联系。

牛津大学的一项新研究揭示了现代人工智能的基础——深度神经网络（DNN）为何擅长从数据中学习。研究表明，深度神经网络天然遵循一种奥卡姆剃刀原则——在多个选项符合训练数据的情况下，它们会倾向于更简单的解决方案。独特的是，这种简洁性偏差恰好抵消了随着复杂性增加可能解决方案数量呈指数级增长的情况。相关研究成果已发表于《自然-通讯》上。

为了准确预测新的未见数据（即使深度神经网络的参数比数据点多出数百万或数十亿个），研究人员提出深度神经网络具有一种固有的指导形式。这种内置偏差有助于它们在学习过程中优先考虑最相关的模式。

领导这项研究的理论物理学家、牛津大学物理学教授阿德·路易斯 (Ard Louis) 介绍称：“虽然我们知道深度神经网络 (DNN) 的有效性依赖于某种形式的简化归纳偏置，即一种奥卡姆剃刀原理，但剃刀原理有很多版本。深度神经网络所使用的剃刀原理的确切性质仍难以捉摸。”

偏好更简单的功能

为了揭示深度神经网络的指导原则，作者研究了它们是如何学习布尔函数的——这是计算中的基本规则，其结果只能有两个可能的值之一：真或假。他们发现，尽管深度神经网络从技术上可以将任何函数拟合到数据中，但它们更偏向于更简单的、更容易描述的函数。这意味着深度神经网络在简单规则和复杂规则之间会自然偏向于前者。

此外，作者们发现这一固有的奥卡姆剃刀原理具有一种独特性质：它能精准抵消随着系统规模增大，复杂函数数量呈指数级增长的趋势。这使得深度神经网络能够识别出罕见且泛化能力强的简单函数（能对训练数据和未见数据进行准确预测），同时避免绝大多数能拟合训练数据但在未见数据上表现不佳的复杂函数。

这一突发原则有助于深度神经网络（DNN）在处理遵循简单模式的数据时表现良好。然而，当数据更为复杂且不符合简单模式时，深度神经网络的表现就不那么出色了，有时甚至不比随机猜测更准确。幸运的是，现实世界中的数据往往相当简单且结构化，这与深度神经网络对简单性的偏好一致。这有助于深度神经网络在处理简单、真实世界的数据时避免过拟合（即模型对训练数据过度“调整”）。

修改学习过程的影响

为了更深入地了解这种剃刀的本质，研究团队调查了当通过改变决定神经元是否应该“激发”的某些数学函数而改变其学习过程时，网络性能会如何变化。

他们发现，尽管这些经过修改的深度神经网络（DNN）仍然偏好简单的解决方案，但即便是对这种偏好进行轻微调整，也会极大地降低其在简单布尔函数上的泛化能力（或做出准确预测的能力）。在其他学习任务中也出现了这个问题，这表明具备正确形式的奥卡姆剃刀原理对于网络的有效学习至关重要。

新发现有助于“打开黑匣子”，揭示深度神经网络（DNN）是如何得出某些结论的，而目前很难解释或质疑人工智能系统做出的决策。然而，虽然这些发现适用于一般的深度神经网络，但它们并没有完全解释为什么在某些类型的数据上，某些特定的深度神经网络模型会比其他模型效果更好。

该研究的共同第一作者克里斯托弗·明加德（牛津大学物理学系）说：“这表明，我们需要超越简单性，去发现造成这些性能差异的其它归纳偏见。”

研究人员表示，这一发现表明人工智能与自然界的基本原理之间有着很强的相似性。事实上，深度神经网络在解决一系列广泛的科学问题上取得的显著成功表明，这种指数归纳偏差必然反映出自然界结构的某些深层规律。

“我们的研究结果开启了令人兴奋的可能性，” 路易斯教授说道，“我们在深度神经网络中观察到的偏见与进化系统中简洁偏好的功能形式相同，这有助于解释，例如，蛋白质复合物中对称性的普遍存在。这表明学习和进化之间存在着引人入胜的联系，这种联系有待进一步探索。”

参考文献：《深度神经网络内置有奥卡姆剃刀原理》，作者：克里斯·明加德、亨利·里斯、吉列尔莫·巴列-佩雷斯与阿德·A·路易斯，发表于2025年1月14日，《自然-通讯》。数字对象唯一标识符：10.1038/s41467-024-54813-x