自动驾驶汽车、文本转语音、人工智能（AI）服务和送货无人机——这只是AI的几个明显应用。为了继续推动AI淘金热，我们一直在改进AI硬件技术的核心：支持深度学习的数字AI核心，这是AI的关键推动者。

在IBM Research，我们一直在努力适应人工智能系统的工作负载复杂性，同时简化和加速性能——通过在材料、设备、芯片架构和整个软件堆栈上进行创新，拉近下一代AI计算系统与尖端性能和难以企及的能效的距离。

在2021年国际固态电路虚拟会议（ISSCC）上发表的一篇新论文中，我们的团队详细介绍了世界上第一个高能效AI芯片，该芯片位于7纳米低精度训练和推理技术的前沿。通过新颖的设计，该AI硬件加速器芯片支持各种模型，并在所有模型上均实现了领先的能效。

通过让训练更接近边缘，让数据更接近信源，这种芯片技术可以扩展并用于许多商业应用，包括从云中的大规模模型训练，到安全和隐私类工作。这类高能效AI硬件加速器可以显著提高包括混合云环境在内的计算能力，而不需要大量能源。

AI模型的先进性和采用正在迅速扩大，现正用于药物发现、传统IT应用的现代化，以及为新应用编写代码。但是，AI模型复杂性的快速发展也增加了AI技术的能耗，一个大问题是在不增加碳足迹的情况下创建复杂的AI模型。从历史上看，这个领域简单地接受了这样一个观点：如果计算需求很大，计算能力也会很强，这就需要给它加油。

我们希望改变这种方式，开发一种全新的节能AI硬件加速器，这种加速器将在不需要过多能源的情况下显著提高计算能力。

解决问题

自2015年以来，我们一直在不断提高AI芯片的电源性能，每年将电源性能提高2.5倍。为了做到这一点，我们一直在创造算法技术，在没有损失预测准确性的前提下进行训练和推理。我们还一直在开发架构创新和芯片设计，使我们能够构建高效的计算引擎，以高持续使用( high-sustained use)和功效执行更复杂的工作量。我们一直在创建一个软件堆栈，使硬件对应用程序开发人员透明，并兼容从云到边缘的所有混合云基础设施。

图1. IBM Research在AI训练和推理中的精度缩减方面处于领先地位，经过优化的AI芯片可在宽泛的AI模型上执行8位训练和4位推理，而不会降低模型精度。

我们仍然是推动AI模型精度降低的领导者（图1），并在全行业得到采用。我们将降低精度格式扩展到8位用于训练，4位用于推理，并开发了数据通信协议，使多核芯片上的AI核心之间能够有效地交换数据。

研究成果

我们新的ISSCC论文反映了这些进步的最新阶段。论文聚焦于芯片的创建，该芯片对所有不同AI模型类型的低精度训练和推理进行了高度优化，没有任何应用层的质量损失。

图2. 一个四核人工智能芯片照片，方框内有四个内核、CMU、PLL和时钟发生器

我们展示了芯片的几个新颖性。首先，它是第一个在最先进的硅芯片中集成超低精度混合FP8（HFP8）格式用于训练深度学习模型的硅技术节点工艺（7纳米EUV芯片）。此外，原始能效数据是涵盖所有不同精度的艺术呈现。图3中的表格显示，我们的芯片性能和能效优于其他专用的推理和训练芯片。

图3. 本项目的测量结果与其他公开发表结果的比较

但这还不是全部，这是首批在AI硬件加速器中集成电源管理功能的芯片之一。我们的这项研究表明，可从高功耗的计算阶段降低芯片速度，在总功耗预算内最大限度地提高芯片性能。

最后，我们证明了我们的芯片除了具有出色的峰值性能之外，还具有可转化为实际应用性能的持续高利用率，这也是我们提高芯片能效的一个关键部分。常规情况下，我们芯片的训练利用率超过80%，推理利用率超过60%，而典型的GPU利用率通常远低于30%。

我们新的AI核心和芯片可用于多个行业的许多新的云到边缘应用。例如，使用8位格式进行数据处理（相对于业界目前使用的16位和32位格式）的视觉、语音和自然语言方面的大规模深度学习模型的云训练。它们还可用于云推理应用，例如语音到文本AI服务、文本到语音AI服务、NLP服务，金融交易欺诈检测和AI模型在金融服务中的更广泛部署。

自动驾驶汽车、安全摄像头和手机也可以从这项工作中受益，我们希望以此建立一种全新的方式来创建和部署AI模型，以提高性能并降低功耗。

参考资料：

Agrawal, A. et al. 9.1 A 7nm 4-Core AI Chip with 25.6TFLOPS Hybrid FP8 Training, 102.4TOPS INT4 Inference and Workload-Aware Throttling. in 2021 IEEE International Solid- State Circuits Conference （ISSCC） vol. 64 144–146 （2021）.

原文链接：https://research.ibm.com/blog/ai-chip-precision-scaling

---煤油灯科技victorlamp.com翻译整理---