
人工智能已经成为我们生活中不可或缺的一部分,但近年来它的快速发展是有代价的。随着人工智能系统变得越来越复杂,它们的训练和使用可能会产生大量的碳排放,导致全球变暖和气候变化。
问题
- 去年的一项研究发现,训练一个标准的人工智能语言处理系统会产生1400磅的排放,这相当于一个人在纽约和旧金山之间往返飞行,如果从头开始构建和训练系统所需的全套实验都完成了,这个数字可能会增加到78000磅。
- 据Hugging Face 估计,他们的模型训练导致了25公吨的二氧化碳排放,当考虑到制造计算机设备所产生的排放和运行模型所需的能量时,排放量翻了一番。
- 今年6月,OpenAI公布了世界上最大的语言模型,称为GPT-3,这个模型可以编写有创意的小说,将法律术语翻译成简单的英语,并回答晦涩的琐事问题。然而,由于其庞大的规模,该模型花费了 460 万美元和 355 年的计算时间。
模型精度与复杂度呈对数关系,这意味着模型规模和训练要求的指数级增长可以导致性能的线性改进。尽管如此,开发提高效率的方法却没有得到优先考虑。我们需要意识到准确性和效率以及模型的碳足迹之间的权衡,无论是在训练过程中还是在进行推理时。
碳意识培训
密歇根大学的研究人员创造了Zeus,旨在减少训练人工智能系统时使用的能源和碳排放量。
基本上,Zeus所做的就是在清洁能源可用时,实时调整GPU的功耗,Zeus会用它来快速提高训练进度,而当清洁能源不可用时,它会减速,消耗更少的能量。这可以减少高达78%的能源消耗和碳排放,而不需要购买任何额外的硬件或降低性能。

精心挑选相关数据
麻省理工学院- IBM沃森人工智能实验室的研究人员开发了一种方法,使人工智能模型在识别视频中的动作时更有效。他们发现人类的感知系统善于挑选出最重要的信息,所以他们将这一概念应用到他们的模型中。
例如,如果一段视频片段显示某人正在制作三明治,那么一个策略网络将选择性地针对某些帧(如切烤牛肉的刀或堆在一片面包上的肉)以高分辨率表示,而不太重要的帧将被省略或以较低分辨率表示,这个电影的缩写版本随后被另一个模型标记为“做三明治”。研究人员表示,这种方法可以更快地进行视频分类,计算成本是次优模型的一半。

研究人员声称,与之前的最佳模型相比,这种方法可以加快视频分类速度并消耗更少的计算能力,通过“挑选”最相关的信息,可以提高模型的效率。
利用人工智能设计模型
研究人员正在利用人工智能通过一种被称为“神经结构搜索”的过程来创建更有效的模型。


描述神经结构搜索的图表
神经结构搜索(NAS)旨在为神经网络确定满足特定需求的最佳结构。在这种情况下,找到一种快速找到门票的方法可以节省计算能力,加速人工智能模型的训练。NAS本质上自动化了人工调整神经网络的过程,并学习什么是最有效的,允许发现更复杂的架构。
- 例如,Song Han和他的团队使用这种方法创建了可以理解语言和识别场景的模型,比如无人驾驶汽车可以识别路标和行人。
- 在一项研究中,他们测试了1000种不同的三维场景识别模型设计,最终确定了一种比之前最好的方法快三倍、耗电量少八倍的设计。
- 在另一项研究中,他们应用了类似的过程来寻找最有效的机器翻译模型设计,即将一种语言转换为另一种语言的过程。他们发现,通过先搜索最佳设计,然后训练模型,可以显著降低所需的计算能力。
彩票假设(lottery ticket hypothesis)
“彩票假设”表明,每个模型都有一个小的子网络,可以用更少的权重单独训练。一种算法可以帮助在大大小小的模型中找到这些被称为“中奖彩票”的小子网络。
在训练神经网络之前,它的一部分将被修剪(删除),在那里你应该得到相同的结果,如果网络没有修剪,这是通过使用一种称为迭代幅度修剪的过程来完成的,该过程查看网络的权重,并删除那些不必要的权重。这使得网络更小,更快,使用更少的资源,并将节省大量的计算能力,因为这些票据可以再次使用,挑战在于如何迅速找到这些票。现在,即使只需要一小部分,也必须训练整个过参数化网络。
这一观点已被接受,在过去两年里被引用了400次。一些研究人员已经证明,你可以在语言和强化学习模型中找到中奖彩票,并且可以从一个任务转移到另一个任务。研究人员认为,找到一种快速找到这些门票的方法可以节省计算能力,加快人工智能模型的训练。
“Once-For-All”系统
科学家们创造了一种名为“一次性(OFA)”的新人工智能系统,以使训练机器学习模型更有效。OFA系统不是为每个设备训练一个模型,而是训练一个具有较小子网络的“母”网络。这个母网络可以通过改变子网络的大小和结构来适应不同的功率或速度限制,以适应不同的设备,如小型物联网设备或智能手机。

OFA网络使用“渐进收缩”算法进行训练,它开始时很大,然后将网络缩小到包括更小的子网络。这有助于每个子网从较大的子网中学习,并支持多个设备而无需额外成本。


渐进收缩算法
最后,OFA网络可以有超过10亿亿种不同的设置,覆盖所需的所有平台。训练和搜索它比为每个平台训练每个网络要快得多,它还为图像处理任务提供了最先进的精度,比现有的行业领先模型更准确。
影响及展望
这项研究的意义是明确的:人工智能模型可以变得更高效,产生更少的碳排放,而不牺牲准确性和性能。通过采用碳意识训练、挑选相关数据、使用人工智能设计模型和彩票假设等方法,人工智能模型可以在产生预期结果的同时变得更高效。
同样重要的是,研究人员是利用现有技术取得这些结果的。随着计算机硬件领域的不断创新,人工智能的碳足迹可能会进一步减少。例如,随着更强大的GPU和更高效算法的引入,AI模型可以用更少的能量更快地训练。
本文所介绍的研究仍处于早期阶段,仍有许多问题有待回答。例如:
- 减少人工智能模型碳排放的最佳实践是什么?
- 我们如何优化训练过程以减少能量需求?
- 新硬件的引入将如何影响AI模型的效率和性能?
人工智能的未来很可能是将人工智能模型的能源和碳足迹降到最低,同时仍能达到预期的结果。我们有责任确保实现这一未来,并确保人工智能的使用方式对环境和社会都有益。
加快AGI发展
与此同时,对AI的研究也应着眼于提高其整体效率,这可能会导致AGI(人工通用智能)的发展。这样的人工智能系统将能够快速完成复杂的任务并学习新技能,而不需要大量的计算能力和能量。这可以通过迁移学习和元学习等方法来实现,这些方法允许系统从以前的任务中学习,并将知识转移到新的任务中。此外,对认知架构的研究,如神经形态计算,可以使人工智能系统更有效地学习。最终,通过提高人工智能系统的效率,我们可以减少它们的碳足迹,加速AGI的发展。
结论
人工智能系统越来越复杂,它们的训练和使用可能会产生大量的碳排放。减少AI模型碳足迹的方法有很多,比如碳意识训练、挑选相关数据、使用AI设计模型以及彩票假设。此外,对人工智能的研究应该集中在提高其整体效率上,这可能会导致AGI的发展。通过提高人工智能系统的效率,我们可以减少它们的碳足迹,加速AGI的发展。
参考链接:https://aldrichalvarez.medium.com/solving-ais-growing-carbon-emissions-4cf71f789fa3