太平洋西北国家实验室 (PNNL) 的科学家表示，西雅图地区日益严重的交通拥堵可以很好地类比高性能计算 (HPC) 系统中类似的拥堵情况。

科学家们在国家安全局对新兴技术的审查 The Next Wave上发表的一篇论文中表示，更复杂的工作负载，例如训练人工智能 (AI) 模型，是造成 HPC 瓶颈的罪魁祸首。

“我们可以通过我们如何创建网络来解决拥塞问题，”PNNL 的高级数据科学家兼团队负责人 Sinan Aksoy 说，他专门研究图论和复杂网络的数学领域。

在 HPC 系统中，数百台单独的计算机服务器（称为节点）作为一台超级计算机运行，节点和它们之间的链接的排列是网络拓扑。

当节点之间的数据交换汇集到同一链路上时，就会发生 HPC 拥塞，从而造成瓶颈。

正如 Aksoy 和他的同事 Roberto Gioiosa（PNNL HPC 小组的计算机科学家）和 Stephen Young（PNNL 数学小组的数学家）说的，这是因为当今人们使用 HPC 系统的方式与系统开发时的方式不同。

“这是改变生活的神器，”Gioiosa 说。“20 年前我们没有 Facebook，我们没有这个大数据，我们没有大 AI 模型，我们没有 ChatGPT。”

大科技扩张

从 20 世纪 90 年代开始，计算机技术行业开始蓬勃发展，新公司扰乱了西雅图地区的经济以及人们生活和工作的地方。由此产生的交通模式变得更不可预测、更不结构化、更拥挤，尤其是沿东西轴线的交通将交通限制在横跨华盛顿湖的两座桥上。

据 PNNL 的研究人员称，传统的 HPC 网络拓扑类似于西雅图地区的道路网络。这些拓扑针对分子或区域气候系统之间的相互作用等事物的物理模拟进行了优化，而不是现代人工智能工作负载。

在物理模拟中，一台服务器上的计算会通知相邻服务器上的计算。结果，网络拓扑优化了相邻服务器之间的数据交换。

例如，在区域气候系统的物理模拟中，一台服务器可能模拟西雅图上空的气候，另一台服务器模拟西雅图西部普吉特海湾水域的气候。

“Puget Sound 气候模型不会影响纽约市正在发生的事情——我的意思是，它最终会——但它确实需要与西雅图模型对话，所以我不妨将 Puget Sound 计算机和西雅图计算机彼此相邻，”PNNL 计算数学组的数学家 Young 说。

数据分析和 AI 应用程序中的通信模式是不规则且不可预测的，一台服务器上的计算可能会通知房间另一端计算机上的计算。根据 Gioiosa 的说法，在传统 HPC 网络上运行这些工作负载类似于今天在高峰时段在大西雅图地区开车兜风寻宝。

网络扩展

为了克服 HPC 瓶颈，PNNL 的研究团队提议使用图论，这是一个探索空间中多个点或点簇之间的关系和联系的数学领域。

Young 和 Aksoy 是扩展器方面的专家，扩展器是一类可以传播网络流量的图表，因此“从 A 点到 B 点总是会有很多选择，”Aksoy 解释道。

他们的网络称为 SpectralFly，展现出完美的数学对称性——每个节点都连接到相同数量的其他节点，并且每个节点的连接在整个网络中看起来都是一样的。

从一个节点到另一个节点的选项——每个选项都与网络中的任何节点相同——也意味着计算机程序员可以更容易地通过网络路由信息，Aksoy 补充道。

他说：“无论你身在何处，路线图都是一样的，因此弄清楚如何在这个网络上路由信息的计算成本要低得多。”所有目的地邻域的邻域对于任何起点都是相同的。

模拟结果

PNNL 的研究团队对他们的 SpectralFly 网络进行了跨工作负载的模拟，从传统的基于物理的模拟到训练 AI 模型，并将结果与​​其他类型的 HPC 网络拓扑的结果进行了比较。

他们发现，SpectralFly 在现代 AI 工作负载上的表现优于其他网络拓扑，在传统工作负载上实现了相当的性能，这表明它可以作为混合拓扑，供希望在同一 HPC 系统上进行传统科学和 AI 研究的人们使用。

Gioiosa 说：“我们正试图以一种我们仍然可以做科学，也可以做人工智能和大数据的方式，融合传统世界和新兴世界这两个世界。”

参考链接：https://techxplore.com/news/2023-05-math-primes-high-performance-age-ai.html