橡树岭研究人员开发了面向超级计算机的开源混合精度基准工具

煤油灯科技2024-05-02 23:15

随着世界上第一台蓄积超级计算机——Frontier于2021年在橡树岭领导计算设施中开始组装,了解其在混合精度计算中的性能仍然是一个困难的问题。这个理解的差距并不是疏忽,而是有关计算科学中以双精度为主的超级计算机系统的全新性质,这个领域几乎整个历史都被双精度系统主导。

双精度(或64位)运算是模拟计算精度的主要标准。由GPU计算的混合精度运算(16位或32位)可以以更快的速度提供所需的准确性水平,特别适用于数据科学和人工智能。但是,迄今为止还没有广泛可用的开源软件用于在GPU加速的超级计算机上测试低精度性能,在2012年橡树岭的Titan系统大规模部署之前,这类计算机首次出现。

因此,美国能源部橡树岭国家实验室的研究人员开发了一个新的跨平台基准测试软件包,正好适时在2022年5月Frontier发布之际推出:OpenMxP。他们还将其作为开源代码提供给其他计算设施。

“超级计算机是维持美国计算技术领导地位的重要基石,我们致力于推动超级计算的前沿。但如果无法衡量,就无法改进它,这凸显了基准测试的重要性。作为一个能力基准测试的OpenMxP参考实现,将惠及其他领导性计算系统,”美国能源部橡树岭国家实验室国家计算科学中心分析与人工智能方法领域(AAIMS)组的负责人王飞宇说道。

OpenMxP最近作为2023年研发100大奖中软件/服务类别的入围者获得了公认。

运行数字

OpenMxP实现了HPL-MxP基准测试任务,该任务于2019年引入,并且是衡量超级计算系统混合精度性能的行业标准。HPL-MxP提供了一个要解决的问题——一个稠密的线性方程系统——但不包含解决问题所需的软件,这取决于基准测试者。以前,对于OLCF的Summit超级计算机,其GPU芯片供应商开发和运行了专有代码,评估它们进行混合精度计算的速度。

王飞宇表示:“过去,这种基准测试通常是由供应商或集成商运行的。他们开发自己的代码,这是他们的独特竞争优势的秘方。他们运行它,然后我们将他们的结果作为原样接受。”

但对于Frontier来说,这不是一个选择,因为它使用AMD的CPU和GPU,所以需要开发新的基准测试代码才能正确运行在下一代芯片上。当NCCS主任Georgia Tourassi提出关于ORNL是否可以自行运行基准测试的问题时,王飞宇提议组建一个团队来做这件事。他们从2021年4月开始,研究基准测试问题本身,并咨询曾经从事类似问题研究的科学家们。

AAIMS组的OpenMxP项目技术负责人Mike Matheson表示:“我们以前没有做过这些问题,所以我们遇到了一些意想不到的软件堆栈问题。你只是期望消息传递接口(Message Passing Interface)能够按照你在脑海中所想的方式工作,但它并不是这样工作的。所以我们尝试了一些方法,然后它不起作用,然后我们与其他人交谈,然后又尝试其他方法。我们只是试探性地前进,试图找出究竟哪种方法是有效的。这是一个学习曲线,我们只能不断尝试。”

幸运的是,Frontier还需要很多月才能完成。不幸的是,这也意味着他们将为他们无法进行测试的机器开发代码。但是,一旦OpenMxP准备好在2021年中旬进行初始运行,团队确实拥有另一个非常快速(尽管不是蓄积级快速)的系统可供测试。

王飞宇说:“我们的目标是Frontier系统,但那时的Frontier实际上并不存在。所以,我们利用我们手头拥有的资源,也就是Summit。这实际上是一件好事,意味着一旦我们有了一个稳定的系统来开始,我们的代码能够运行,并在这个规模上进行调优,我们的代码就经受过了实战的考验。我们知道它会扩展,接下来的工作就是使其适应Frontier。”

2022年5月,Frontier准备好运行。OpenMxP也准备就绪。Frontier的初始混合精度基准测试结果达到6.86艾希弗洛普,即每秒可以进行68.6亿亿次浮点运算,使其在2022年HPL-MxP榜单上排名首位。一年后,它达到9.95艾希弗洛普,再次获得第一名。欧洲高性能计算联合企业的LUMI超级计算机也使用OpenMxP进行了HPL-MxP测试,并在2023年6月的排名中位列第二。

你可能也喜欢这些文章

科技互联网,科技,资讯,动态,洞察,量子,计算,AI,人工智能,机器人,区块链,Web3,分布式,操作系统,OS,芯片,视频,深度,论文