简单的数学技巧可将 AI 开发时间缩短一半

煤油灯科技2022-03-29 07:30

深度学习模型通常由一个巨大的人工神经元网格组成,这些人工神经元通过“权重”——接受输入并传递改变的输出的计算机代码——表示连接真实神经元的突触。 通过在数千或数百万次试验中修改这些权重,可以逐步训练模型来执行任务,例如从人脸图片中识别人或从手写图像中数字化文本。

这种训练通常依赖于传递数据的迭代过程,评估输出的质量,然后计算一个梯度,以告知应该如何改变权重以提高性能。 这涉及通过人工神经元链中的每个链接将数据从神经网络的一侧传递到另一侧,然后返回开始计算梯度。

牛津大学的 AtilimiGiines Baydin 和他的同事现在已经采用了这个称为反向传播的两阶段过程,并将其简化为仅一个,其中在第一次通过时计算出足够接近有效的梯度近似值,使得第二个冗余。

从理论上讲,它可以将训练 AI 模型所需的时间缩短一半。 该团队使用反向传播和他们的新方法进行了多次测试,每次测试的迭代次数都相同,发现 AI 的性能具有可比性 (arxiv.org/abs/2202.08587)。

英国埃克塞特大学的 Andrew Corbett 表示,计算前向传播中的梯度是“一个简单的数学技巧”,但有可能解决 AI 研究人员面临的最大问题之一:对计算的要求越来越高。 “这是一件非常非常重要的事情要解决,因为它是机器学习算法的瓶颈,”Corbett 说。

尖端的人工智能研究依赖于具有数千亿参数的庞大模型。 训练这些可能一次占用巨大的超级计算机数周或数月。

威震天是图灵自然语言生成模型是目前运行的最大神经网络之一,拥有 5300 亿个参数,并在 Nvidia 的 Selene 超级计算机上进行了训练,该超级计算机拥有 560 台强大的服务器和 4480 块高端显卡,商业购买时每块价值数千英镑,尽管那台机器的功率很大,但训练模型需要一个多月的时间。

Gines Baydin 说,最好的情况是这种新方法将训练 AI 模型所需的时间缩短了一半,但这远不能保证。 他说时间会告诉其他研究人员在对一系列模型进行测试时看到的结果。

“你可以用我们的算法更快地运行一次优化迭代,但这并不意味着你可以以两倍的速度获得相同的结果,因为还涉及到其他事情,”他说。“它可能比反向传播算法做得更差 “在某些情况下,它可能需要更多的迭代才能达到相同的训练质量。如果发生这种情况,也许最终会失去你所有的竞争优势。”


原文链接:https://www.newscientist.com/article/2311525-simple-mathematical-trick-could-slash-ai-development-time-in-half/

你可能也喜欢这些文章