无论是设计微芯片还是发明新的蛋白质，有时神经网络似乎无所不能。然而，这些大脑启发的人工智能(AI)系统以神秘的方式工作，令人担心它们所做的事情可能没有任何意义。
一项新的研究发现，有200年历史的数学可以帮助阐明神经网络如何执行复杂的任务，如预测气候或模拟湍流。研究人员说，这反过来可以帮助提高神经网络的准确性和学习速度。
在人工神经网络中，被称为“神经元”的组件(类似于人脑中的神经元，因为它们是系统的基本组件)被输入数据并合作解决问题，例如识别人脸。如果神经网络拥有多层神经元，就被称为“深层”神经网络。
神经网络得出结论的方式一直被认为是一个神秘的黑盒子，也就是说，一个网络也不能解释它是如何得出结论的。该研究的资深作者、莱斯大学流体动力学家Pedram Hassanzadeh说，尽管研究人员已经开发出了检查神经网络内部工作原理的方法，但当涉及到用于许多科学和工程应用的神经网络时，这些方法往往收效甚微。
为了分析用于执行物理的神经网络，Hassanzadeh和他的同事们使用了物理学中经常使用的数学技术进行了实验。这种方法被称为傅里叶分析（ Fourier analysis），用于识别跨空间和时间的数据中的规则模式。
在这项新研究中，研究人员对深度神经网络进行了实验，该网络经过训练，可以分析大气中的空气或海洋中的水中出现的复杂湍流，并预测这些流动如何随着时间的推移而变化。
Hassanzadeh说，为了分析这些复杂的系统，更好地理解神经网络已经学习到的概念，可以帮助建立更精确的模型，需要更少的数据进行训练。
科学家们对深度神经网络的控制方程进行了傅里叶分析。该模型的大约100万个参数(神经元之间的连接)中的每一个都像乘数一样，在计算过程中调整这些方程中的特定操作，这些参数被分组在大约40000个称为内核的5乘5矩阵中。
未经训练的神经网络参数一般具有随机值，在训练过程中，神经网络的参数被修改和磨练，因为它逐渐学会计算越来越接近训练案例中的已知结果的解决方案。然后，研究人员可以使用经过充分训练的神经网络来分析之前没有见过的数据。
自从大约200年前傅里叶分析首次出现以来，研究人员还开发了其他工具来分析数据中的模式，例如筛选背景噪声的低通滤波器，帮助分析背景信号的高通滤波器，以及经常用于图像处理的Gabor滤波器。对核的傅里叶分析显示，神经网络的参数表现为低通、高通和Gabor滤波器的组合。
“多年来，我们听说神经网络是黑盒子，有太多的参数需要理解和分析。当然，当我们只看其中一些参数时，它们没有多大意义，它们看起来都不一样。”然而，在对所有这些核进行傅里叶分析后，“我们意识到它们是这些光谱滤波器。”
多年来，科学家们一直在尝试结合这些过滤器来分析气候和湍流。然而，这些组合在对这些复杂系统建模时通常并不成功。神经网络学会了正确组合这些过滤器的方法，哈桑扎德说。
Hassanzadeh解释说：“在美国和世界各地，许多气候科学家和机器学习科学家团队正在合作开发神经网络增强的气候模型，也就是说，混合模型使用传统的偏微分方程求解器和神经网络一起进行更快、更好的气候预测。”他补充说，傅里叶分析可能不仅有助于为这些目标设计更好的神经网络，还有助于科学家更好地理解气候和湍流的潜在物理学。
Hassanzadeh说，除了气候和湍流模型之外，傅里叶分析可能有助于研究用于分析广泛其他复杂系统的神经网络。他说，这些包括“喷气发动机内的燃烧、风力发电场中的流动、许多物质、木星和其他行星的大气、等离子体、太阳和地球内部的对流等等”。Hassanzadeh说，研究人员已经开发了一个通用框架，以帮助将这种方法应用于“任何物理系统和任何神经网络架构”
此外，Hassanzadeh补充说，这种方法可能有助于分析“用于图像分类或神经科学的神经网络”。然而，“我们的工作在多大程度上揭示了这些领域仍有待研究。”
当涉及到神经网络时，一个主要的问题是它们的可泛化程度——是否它们可以分析与它们所训练的系统不同的系统。一种用于帮助神经网络从一个系统外推到另一个系统的方法被称为迁移学习。这种方法侧重于重新训练神经网络中的少量关键神经元，以帮助它分析其他系统。这些新发现可能会确定需要再训练的最佳神经元。
Hassanzadeh说，具体来说，迁移学习的传统观点是，最好在最接近模型输出的“最深”层重新训练神经元。然而，他说，新的研究表明，当涉及到跨越时间和空间的数据模式的复杂系统时，重新训练靠近模型接收输入的“最浅”层可能会产生更好的性能，而重新训练最深的层可能会被证明“完全无效”。
总而言之，“尽管神经网络被称为黑盒子，但我们实际上可以把它们拆开，试着理解它们的功能，并将它们的内部工作原理与我们所知道的物理系统的物理和数学联系起来，”哈桑扎德说。“这在科学机器学习中是非常需要的。”
Hassanzadeh说，在未来，研究人员的目标是确定神经网络如何学习如何组合过滤器以达到最佳结果。
