机器学习模型正以指数级增长。同时，它们需要指数级的更多能量来训练，这样才能精确地处理图像或文本或视频。随着AI社区努力应对环境影响，一些会议现在要求论文提交者包含CO2排放的信息。新的研究提供了一种更精确的方法来计算这些排放量。它还比较了影响它们的因素，并测试了减少它们的两种方法。

软件包可用来估算AI工作负载的碳排放量。最近，巴黎大学萨克莱分校（Université Paris-Saclay）的一个团队测试了一组这样的工具，看看它们是否可靠。结果显示，它们并不是在所有情况下都是可靠的。该论文已经在ACM的公平、问责和透明会议(FAccT)上发表。

该论文的第一作者，艾伦AI研究所(Allen Institute for AI)的研究科学家Jesse Dodge表示，这个新方法在两个方面有所不同。

首先，它将服务器芯片的能源使用记录为一系列测量数据，而不是将它们在训练过程中的使用相加。其次，新方法将这一使用数据与一系列数据点联系起来，这些数据点显示了每千瓦时(kWh)能源使用量的本地排放量。这个数字也在不断变化，而以前的工作没有捕捉到很多细微的差别。

新工具比旧工具更先进，但仍然只跟踪了训练模型使用的一部分能量。在初步实验中，该团队发现服务器的GPU使用了74%的能量，CPU和内存虽然使用少数能量，却同时支持许多工作负载，因此只专注于GPU的能源使用。该团队也没有计算用于建造计算设备、冷却数据中心、建造数据中心和运送工程师往返设施的能源，或者用于收集数据或运行训练好的模型的能量。但是，这个工具提供了一些在训练中减少排放的方法。

Dodge说，“我希望，迈向更加绿色、公平的未来的至关重要的第一步是透明的报道，因为你无法改进无法衡量的东西。”

研究人员训练了11个不同大小的机器学习模型来处理语言或图像，培训时间从一个GPU一个小时到256个GPU八天不等。他们记录了大约每秒钟消耗的能量，获得了16个地理区域在2020年全年使用的每千瓦时能源的CO2排放量（以五分钟为单位）。然后，他们比较了来自不同地区、不同运行时间的不同模型的排放量。

训练最小的模型时，为GPU供电的碳排放大约相当于给一部手机充电的排放。最大的模型包含60亿个参数，虽然训练只完成了13%，但GPU排放的碳几乎相当于美国一个家庭一年的用电量。同时，一些已经部署的模型，如OpenAI的GPT-3，包含的参数都超过了1000亿个。

11个训练模型的碳排放测试结果（Allen Institute for AI）

减少排放的最大衡量因素是地域：每千瓦时的CO2从200克到755克不等。除了改变位置，研究人员还测试了两种CO2减排技术。

第一，灵活开始（Flexible Start），这可能会使训练延迟长达24小时。最大的模型通常需要几天训练，延迟一天可以减少不到1%的碳排放，但对于小得多的模型，这样的延迟可以节省10-80%排放。

第二，暂停和恢复（Pause and Resume），在高排放时暂停训练，只要总训练时间不超过两倍。这种方法仅使小模型受益几个百分点，但可使一半地区中的最大模型受益10-30个百分点。每千瓦时的排放量会随着时间的推移而波动，部分原因是由于缺乏足够的绿色储能，当风能和太阳能等间歇性清洁能源无法满足需求时，电网有时必须依赖肮脏的电源。

该论文最有趣的部分就是这些优化技术，但都基于回顾性数据。在未来，Dodge希望能够预测每千瓦时的排放量，并付诸实施和应用。该论文的共同作者Anne-Laure Ligozat还提供了另一种减少排放的方法——在实验之前进行思考，确定“你是否真的需要通过机器学习来解决问题。”

微软的研究人员合作完成了这篇论文，他们已经将GPU能量指标应用到Azure云服务中。有了这样的信息，用户可能会选择在不同的时间或不同的地方训练，购买碳补偿，或者训练不同的模型或根本不训练模型。

原文链接：https://spectrum.ieee.org/ai-carbon-footprint

---煤油灯科技victorlamp.com翻译整理---