采用RISC-V架构的AI芯片将无处不在

煤油灯科技2022-11-16 15:35

像火箭一样起飞的RISC-V是免费开源的精简计算机指令集架构,其驱动力大部分来自对AI和机器学习的需求。市场研究公司Semico表示,2027年间采用RISC-V技术的芯片数量将每年增长73.6%,届时将生产约250亿片AI芯片,收入达2910亿美元。

Esperanto Technologies公司创造了世界上第一个高性能RISC-V AI处理器,旨在与AI推荐系统中强大的GPU竞争。其CEO Dave Ditzel认为,RISC-V是一种以相对较低的功耗加速AI的方法。基本层面上,更复杂的指令集架构意味着你需要更多的晶体管来组成处理器,每个晶体管在关闭时都会泄漏一点电流,在切换状态时会消耗功率。这就是RISC-V吸引人的地方,它只有一个简单的指令集。

Ditzel的整个职业生涯都是由RISC-V背后的理论定义的。IEEE Fellow David Patterson在1980年的一篇开创性论文中创造了这个词,他的学生Ditzel是合著者。Ditzel后来在贝尔实验室和SUN微系统公司从事RISC处理器的研究工作,之后又共同创立了Transmeta公司,生产了一种低功耗处理器,旨在通过为RISC架构翻译x86代码来与英特尔竞争。


内核

RISC-V的核心是一组只有47条指令的集合。X86指令的实际数量很难枚举,但它可能接近1000条。Arm的指令集相对小得多,但仍比RISC-V大得多。Ditzel表示,仅仅使用一组精简指令并不足以实现Esperanto所追求的计算能力。“大多数RISC-V内核都没有那么小或那么节能。因此,这不仅仅是我们采用RISC-V内核并将1000个内核放在芯片上的问题。我们必须完全重新设计CPU,以使其适应那些非常严格的限制。”

当Ditzel和他的同事开始工作时,RISC-V指令集中明显缺少有效进行机器学习数学运算所需的“向量”指令,例如矩阵乘法。Esperanto工程师因此想出了他们自己的方法。正如处理器内核ET-Minion的架构所体现的那样,这些单元包括执行8位整数向量以及32位和16位浮点向量的单元。还有一些单元执行更复杂的“张量”指令,以及与数据有效移动相关的系统以及与芯片上ET-Minion内核的排列相关的指令。

由此产生的系统芯片ET-SoC-1由1088个ET-Minion内核和四个称为ET-Maxions的内核组成,它们帮助管理Minions的工作。该芯片的240亿个晶体管占位仅仅570平方毫米。这使它的大小约为流行的AI加速器Nvidia A100的一半。这两个芯片遵循非常不同的理念。

ET-SoC-1旨在加速功率受限的数据中心中的AI,通常位于板的核心,适合已安装服务器的外围组PCIe插槽。这意味着该板只有120瓦的可用功率,但它必须提供每秒至少100万亿次操作才有价值。Esperanto在该功率范围内管理了超过800万亿次操作。

Esperanto.ai首席架构师Jayesh Iyer在RISC-V峰会上说,“大多数AI加速器都是围绕一个芯片构建的,该芯片占用了电路板的大部分电力预算,Esperanto的方法是使用多个低功耗芯片,这仍然符合功率预算。”

在执行一个推荐系统基准(recommender-system benchmark)神经网络时,每个芯片功耗为20W——不到A100的十分之一——电路板上有六个芯片。这种功率和性能的结合是通过降低芯片的工作电压而实现的,而没有预期的性能牺牲。一般来说,更高的工作电压意味着你可以更快地运行芯片的时钟,完成更多的计算。在0.75V(ET-SoC-1 制造过程的标称电压)的额定电压下,一块芯片将远远超出电路板的功率预算。但当电压降至0.4V左右时,你可以在120W的芯片上运行6个芯片,与单一的高压芯片相比,推荐系统性能提升了4倍。在这个电压下,ET-Minion的每个核心仅消耗大约10毫瓦。

Iyer表示:“低电压运行是Esperanto ET-minion(核心)设计的关键。它为架构和电路级别的决策提供了依据。例如,RISC-V整数指令的内核流水线由每个时钟周期最少数量的逻辑门组成,从而在降低的电压下允许更高的时钟速率。当核心执行张量计算时,该管道将关闭以节省能源。


其他AI处理器

其他最近开发的AI处理器也转向了RISC-V和定制的机器学习加速的组合。例如,Ceremorphic最近凭借其分层学习处理器脱颖而出,它使用RISC-V和Arm内核以及自己的定制机器学习和浮点运算单元。英特尔即将推出的MobileyeEyeQ Ultra将在芯片中配备12个RISC-V内核和神经网络加速器,旨在为4级自动驾驶提供智能。

对于嵌入式AI处理器公司Kneron来说,使用RISC-V处理器既是一项商业举措,也是一项技术举措。该公司一直在销售使用Arm CPU内核和定制加速器基础设施的芯片和知识产权。但2021年11月,Kneron在KL530上发布了首款基于RISC-V的技术,旨在通过一种名为视觉变压器(vision transformer)的相对新型神经网络来支持自动驾驶。

根据Kneron首席执行官Albert Liu的说法,RISC-V架构使得预处理神经网络模型变得更容易,从而运行更高效。不过,他表示:“考虑到英伟达去年可能收购Arm,此举可以降低我们在任何可能影响我们的商业决策方面的风险。“这笔交易在今年2月破裂,但它将把Kneron先前CPU核心架构的供应商置于竞争对手手中。

未来的RISC-V处理器将能够使用社区同意的一套开源指令来处理与机器学习相关的操作。负责核心指令集架构和新扩展的机构RISC-V国际(RISC-V International)于2021年12月批准了一组100多条向量指令。

该组织的首席技术官Mark Himelstein表示,“有了新的矢量指令,人们在AI领域做自己的事情就不必从头开始了。他们可以使用其他公司正在使用的指令。他们可以使用其他公司正在使用的工具。然后他们可以在实施、能耗、性能或其他任何方面进行创新。”

Himelstein说,“即使有了向量扩展,促进机器学习仍然是RISC-V社区的首要任务。大多数与机器学习相关的RISC-V扩展的开发都由该组织的图形特别兴趣小组进行,该小组与机器学习小组合并,因为他们想要相同的东西”他说。但是其他的小组,比如那些对高性能和数据中心计算感兴趣的小组,也在关注与机器学习相关的扩展。Himelstein的工作是确保各方的努力在力所能及的范围内趋同。

尽管RISC-V取得了成功,但Arm在许多具有更多新AI功能的市场中仍是市场领导者,而且从现在起五年后仍可能如此,RISC-V将占据CPU核心设计市场份额的15%左右。Semico Research首席分析师Rich Wawrzyniak表示,这不是50%,但也不是5%。如果想想RISC-V才现身多久的话,这将是相当快速的增长。


原文链接:https://spectrum.ieee.org/risc-v-ai


---煤油灯科技victorlamp.com翻译整理---

你可能也喜欢这些文章

科技互联网,科技,资讯,动态,洞察,量子,计算,AI,人工智能,机器人,区块链,Web3,分布式,操作系统,OS,芯片,视频,深度,论文