
在我们开始探索生成人工智能(AI)如何在我们的日常生活中发挥作用时,ChatGPT引发了公众的兴趣。在背后,科学家们不断推进AI的发展,其潜在应用之广,可能会通过加速科学和技术发展改变我们所熟知的生活。
在最近发表于《机器学习研究杂志》的研究中,冯磊·范(Fenglei Fan)博士,一位前任Rensselaer博士学生,目前担任香港中文大学数学助理教授;赖荣杰(Rongjie Lai),前任Rensselaer副教授,现任普渡大学数学教授;以及王格(Ge Wang)博士,Rensselaer生物医学成像中心的Clark & Crossan董事职位讲座教授兼主任,发现分析人工神经网络的拓扑结构,揭示了如何在未来充分发挥AI的力量。
类似于拓扑图,支持AI的技术具有三个维度。ChatGPT是AI领域的新宠儿,是一个具有多层的深度神经网络,也被称为深度学习算法。王格及其合作者发现,网络宽度,即一层中神经元的数量,也起着重要作用。
有趣的是,他们发现一种类型的网络可以转变成另一种类型,以完成给定的任务,如回归或分类,这些是机器学习的重要组成部分。(机器学习是AI的一个子集,它允许计算机生成预测结果而无需明确指示。)换句话说,深度神经网络可以转变为宽度神经网络,反之亦然。
“在技术的早期阶段,科学家们专注于非常宽而浅的网络(一到两层),以实现普适近似,”王格说。“后来,深度神经网络(多层以前向传播方式工作)被证明非常强大。然而,我们并不完全相信应该只关注深度学习而不是宽度和深度学习的结合。我们认为,深度只是一个维度,宽度是另一个维度,两者都需要被考虑和结合。”
在他们的研究中,团队考虑了深度和宽度神经网络之间的关系。通过定量分析,他们发现深度和宽度网络可以在一个连续的范围内相互转换。同时使用两者将会给出更全面的画面,并避免偏见。
他们的研究展示了机器学习的未来,即网络既深又宽,相互连接,并具有良好的动力学和宽度与深度之间的优化比率。网络将变得越来越复杂,当动力学达到期望的状态时,它们将产生惊人的结果。
“这就像玩乐高积木一样,”王格说。“你可以建造一个非常高的摩天大楼,或者你可以建造一个平坦的大型建筑,里面有许多房间在同一层。对于网络来说,神经元的数量和它们之间的连接是最重要的。在三维空间中,神经元可以以无数种方式排列。就像我们大脑的结构一样,神经元只需要以各种方式相互连接,以便完成各种任务。”
“理解神经网络的深度和宽度之间的转换仍然是一个不断发展的领域,”赖荣杰说。“宽度和深度网络都具有各自独特的优势和不足。通常情况下,浅层网络更容易理解。我们对这两种网络类型内在对称性的探索,为通过宽度网络的视角来理解深度网络提供了一种新的视角。”
“王博士对宽度和深度神经网络之间关系的研究开辟了利用AI潜能的新途径,”Rensselaer工程学院院长Shekhar Garde博士说。“AI正影响着我们社会的几乎每个方面,从医学到新材料再到金融。这是一个激动人心的时刻,而王博士正处于这一领域的思考前沿。”