芯片制造商寻找从密集计算过渡到稀疏计算的新架构

煤油灯科技2023-01-17 14:33

扩展当前计算设计的能力正在达到一个临界点,英特尔、高通和AMD等芯片制造商正在集思广益,希望开发一种替代架构来推动计算向前发展。围绕一种稀疏计算(sparse computational)方法,芯片制造商正在进行联合,这种方法涉及将计算引入数据当中,而不是反过来,这正是当前计算的基础。

智能高级研究项目活动(Intelligence Advanced Research Projects Activity,IARPA))项目经理William Harrod在SC22会议的主题演讲中表示,这个概念仍然很遥远,但需要一种新的设计,因为从长远来看,当前用于扩展世界上最快的超级计算机的计算模型是不可持续的。

当前的模型效率低下,因为它跟不上数据的激增。用户需要等待几个小时才能收到发送到带有加速器和其他资源的计算中心的数据结果。Harrod在主题演讲中说,新方法将缩短数据传输的距离,更有效和智能地处理信息,并更快地产生结果。

“需要进行公开讨论,因为我们正在从密集计算时代向稀疏计算世界过渡。这是一个巨大的转变,在我们能够验证和确认这些想法之前,公司不会改变设计。

Harrod说,稀疏计算方法背后的目标之一是在接近实时或短时间内生成结果,并在数据变化时看到结果,他之前在能源部负责研究项目,最终导致了exascale系统的开发。

当前的计算架构将网络上所有大大小小的数据和计算问题推到了一个由处理器、加速器和内存子结构组成的网络中,这需要更有效的方法来解决这些问题。

稀疏计算系统的目的是解决数据移动问题。当前的网络设计和接口可能会使数据长距离移动,从而使计算陷入困境。稀疏计算缩短了数据传输的距离,在最近的芯片上智能地处理数据,并且同等重视软件和硬件。

“我不认为未来仅仅依赖于获得更好的加速器,因为获得更好的加速器并不能解决数据移动问题。事实上,最有可能的是,加速器将成为系统其余部分的某种标准接口,而不是为这个问题设计的,”Harrod说。

Harrod从设计exascale系统中学到了很多。一个教训是,从长远来看,在当前的计算架构(von Neumann architecture)下提升计算速度是不可行的。

另一个结论是,长距离传输数据的能源成本相当于浪费。能源部最初的目标是在2015-2016年的时间框架内建立一个运行在20兆瓦的亿亿亿次系统,但它花了很长时间。世界上第一个亿亿亿级系统Frontier今年早些时候进入了500强,消耗21兆瓦。

“我们的数据集非常稀疏,对数据集执行的操作非常少。所以你做了大量的数据移动,但是你没有从中得到大量的操作。你真正想做的是高效地移动数据,”Harrod说。

但是,并不是每个计算问题都是平等的,将大小问题贴在GPU上并不总是答案。在密集计算模型中,将较小的问题转移到高性能加速器中是低效的。Harrod说,IARPA计算倡议(Advanced Graphical Intelligence Logical Computing Environment)旨在“基于数据移动问题,而不是ALUs的浮点单元来定义计算的未来”。

计算通常依赖于从分布在广泛网络源头上的非结构化数据所生成的结果。稀疏计算模型涉及将密集模型分解成一个更加分布式和异步的计算系统,在该系统中,计算只在需要数据的地方进行。但前提是假设本地化计算做得更好,并减少了数据传输时间。

该软件均等计权(weighs equally),侧重于图形分析等应用,其中数据连接之间的权重采用持续分析。稀疏计算模型也适用于机器学习、统计方法、线性代数和数据过滤。

IARPA与包括AMD、佐治亚理工学院、印第安纳大学、英特尔、高通、芝加哥大学在内的多个组织签署了六份合同,探讨开发非冯诺依曼(non-von Neumann)计算模型的最佳方法。

Harrod说,这些提议提出了一些技术方法,如开发数据驱动的计算元件,其中一些技术已经存在,如带有HBM内存和基板上的内存模块的CPU,并补充说“它没有解决我们在这里遇到的所有问题,但它是朝着那个方向迈出的一步。”

第二种技术方法涉及移动数据的智能机制。

“这不仅仅是一个浮点坐在那里进行负载存储的问题——那不是一个移动数据的智能机制,”Harrod说。

最重要的是,需要关注作为稀疏计算系统指挥者的系统运行。“这里的假设是,这些系统一直在做一些事情。你真的需要一些东西来观察正在发生的事情。你不想成为一名完全控制这一切的程序员——那样我们就都有大麻烦了。”

运行时间对于创建计算环境的实时性非常重要。

Harrod希望处在一个预测性的环境中,而不是取证性的环境中。上述提议需要通过FireSim等工具进行验证和确认,FireSim是一种测量新型架构性能的工具。


原文链接:https://www.hpcwire.com/2022/11/23/chipmakers-looking-at-new-architecture-to-drive-computing-ahead/

 

---煤油灯科技victorlamp.com翻译整理---

你可能也喜欢这些文章