由ChatGPT或Stable Diffusion演奏的漫话和艺术已经抓住了人们的想象力，并引发了生成性人工智能（AI）将在未来扮演角色的大量争议。

ChatGPT、Stable Diffusion、Dall-E-2和当今大多数生成式AI都是在大型数据集上训练的，然后作为概念证明或作为预训练模型输出。

我们以Stable Diffusion为例，因为它能让我们一瞥这些模型的误导范围。像Dall-E-2 Stable Diffusion是多模态的，它由一系列模型组成，这些模型共同将你的作品转化为视觉表现。

Stable Diffusion的突出之处在于，它预先训练的模型可以放入仅4GB的Nvidia vRAM中，而不会让CPU超速运行以试图搅动数据。这意味着，只要你有一个内存足够大的专用GPU，就可以在家里的一台相当强大的笔记本电脑或台式机上运行它。在家运行模型的能力让许多人看到了生成性AI的潜力，尽管有趣，但预训练的模型也有有限的保质期。

想象一下，如果你想让一个孩子接触这个世界提上的一切。18年来，他们尽可能地吸收所有的知识，但在他们成年的第一天，他们被锁在一个山洞里，与世隔绝。现在想象一下，你给那个人提供了美术用品，并要求他们根据你的提示来绘制、涂色和渲染图像。

起初，图像会相对准确，但随着时间的推移，隔离使他们处于更大的劣势。随着提示越来越多地进入不熟悉的领域，艺术逐渐变得不那么准确。

一个预训练好的AI模型没什么不同。从训练完成开始，它就对这个世界视而不见。这就是如果要让生成型AI真正有用，就必须反复接受再训练的真正原因。问题就出在这里：尽管这些AI模型看起来都很神奇，但训练它们哪怕一次也是一件极其昂贵的事情。

算算培训成本

计算培训成本是一件棘手的事情，因为有太多的变量在起作用。就本文而言，我们将观察浮点精度、模型大小和训练时间，以帮助正确看待这一切。

今天，大多数AI训练都是在GPU上进行的，每个GPU都带有相对少量的快速内存。Nvidia的A100和H100 GPUs都配备了80GB的HBM内存，而AMD和英特尔的GPU现在正在推动128GB的内存。虽然其他具有不同内存拓扑的架构，但我们将坚持使用Nvidia的A100，因为该硬件得到了很好的支持，在内部和云环境中广泛可用，并且已经运行AI工作负载多年。

浮点精度是最大因素之一，因为它影响训练时间和模型需要多少内存。后者还决定了需要多少计算，因为每个加速器只有这么多内存。训练时间本身更难量化，因为它会因计算密度、加速器数量、数据集大小、参数数量和任何其他相关变量而异。

今天，大多数模型都是使用FP32、FP16或Bfloat16训练的，尽管许多行业参与者现在都在推动FP8计算。随着规模的缩小，精度会随着性能的提高而降低，模型也会变得更小。出于这个原因，模型使用混合精度并不罕见，这实质上涉及到对一些参数使用较低精度的计算，对其他参数使用较高精度的计算，这通常是为了优化性能。

那么这些模型有多大呢？好吧，ChatGPT最近产生了不少争议，让我们看看GPT-3，这是分裂的AI模型的基础。2020年年中推出的GPT-3拥有1750亿个参数，在大约2tb的数据集上，在Nvidia V100 GPUs的大规模集群上进行训练。

GPT-3是使用FP32精度训练的，这意味着每个参数四个字节。这相当于仅安装该型号就需要大约700GB的vRAM。今天，这需要大约10个80GB的Nvidia A100s，但除非你想等几年来训练它，否则你就要更多的大铁块。

Nvidia的工程师与斯坦福大学和微软研究院的科学家合作，在2021年的一篇论文中估计，在1.2TB的数据集上训练GPT-3需要1024个A100s 34天。假设每小时40.96美元，训练需要816个小时，仅训练一次就要花费428万美元。在训练好的模型上运行推理以确保更智能的性能完全是另一个问题。

这还只是GPT-3。未来的模型预计会大一个数量级，有人推测GPT-4的参数大小可能高达一万亿。但是，由于我们还没有任何关于GPT-4的确切细节，我们先看看Nvidia的另一个大型语言模型。

Nvidia的Megatron模型

Nvidia的Megatron-Turning NLG有5300亿个参数，比GPT-3大三倍多。根据英伟达的说法，在混合精度下运行的2048个Nvidia A100s花了八周时间来训练该模型。回到AWS示例，训练它一次需要1400多万美元。不需要太多的想象力，就能明白为什么每周对一个增量更大的数据集进行重新训练会很快变得昂贵。

您可能会问，如果云这么贵，为什么不在本地培训呢？这是一个有效的观点，特别是如果你要不断地重新训练你的模型，但是它仍然需要一个大的前期投资。

如果采用Nvidia Megatron-Turning NLG，您需要256个8-GPU节点。这里我们使用的是Nvidia DGX A100服务器。虽然这些系统的成本各不相同，但我们已经看到定价在175,000美元左右。

对于256个节点，成本总计为4480万美元，这还不包括维持它们正常运行所需的电力和维护成本。在满负荷情况下，一个256节点的集群可以吃掉1.7兆瓦电力。假设不断接受再培训，电力支出每年需要220万美元。当然，实际上应该比这少一点。

更快加速器和更低/混合精度计算的激增肯定是有所帮助的，但前提是模型不会继续超过我们在硅芯片方面的进步。

收益递减点

如果说我们对人性有所了解的话，那就是如果这意味着赚钱，我们会尽可能地走捷径。像ChatGPT这样的大规模自然语言模型可能令人印象深刻，但训练和再训练它们的纯粹成本将使它们变得如此不切实际，只有最大的公司才能充分发挥它们的潜力。

像微软这样运营着拥有数万个加速器的大规模GPU集群的企业，已经做好了这样做的准备，所以它对OpenAI这样的公司进行巨额投资就不足为奇了。但随着AI模型和加速器的成熟，为特定应用量身定制的模型数量可能会激增。

我们已经看到了一系列AI艺术生成器在Dall-E之后出现。尽管未能提供与其竞争对手相同程度的完善，但Stable Diffusion的开源性质和不仅可以部署，而且可以在消费硬件上训练的能力，使它成为一个出众的热门产品。

Stable Diffusion也证明了AI并不能免受收益递减规律的影响。豪华车可能会吸引司机，但如果他们买不起，他们就用福特或本田凑合着用。虽然它可能缺乏奢侈品牌的风格或声望，但它仍然会让你从A点转到b点，没有理由认为AI在企业中的采用不会如此。

最终，目标不是完美，而是平庸。只要模型足够好——而且比请人来做成本更低——AI就能收回成本。正如我们已经讨论过的，有很多捷径可走。

原文链接：

https://www.theregister.com/2023/01/29/ai_retraining_costs/?td=keepreading