用RISC-V和内存构建开放式计算

煤油灯科技2022-12-03 07:10

过去几年,我们目睹了数据生成和处理的方式发生的巨大变化,并优化利用以获得更多的价值和智慧。所有这些都是由于基于深度学习和神经网络应用的新计算模型的影响。这一深刻的变化始于数据中心,它将深度学习技术用于对海量数据的洞察,通过分类和/或识别图像,实现自然语言或语音处理,或者理解、生成,或成功地学习如何玩复杂的策略游戏。这种变化还带来了一波更节能的计算设备,例如GP-GPU、FPGAs和ASICs,这些设备专为特定类别的计算而创建,进一步加速和增加了基于深度学习的系统的计算能力。

大数据和快速数据

大数据应用采用专门的GP-GPU、FPGA和ASIC处理器,通过深度学习技术分析大型数据集,并揭示趋势、模式和关联性,从而实现图像识别、语音识别等功能。因此,大数据是基于过去的信息或常驻在云端的静止数据,一个常用的功能是用来执行特定任务的已经训练好(trained)的神经网络,例如识别和标记一个图像或视频序列中的所有面部信息,语音识别也展示了神经网络的一些强大功能。

这种任务最好由专门的引擎(或推理引擎)来执行,这种引擎直接驻留在边缘设备上并由快速数据(Fast Data)应用程序(图1)来引导。通过在边缘设备上处理本地所捕获的数据,快速数据能够利用来自大数据的算法提供实时决策和结果。大数据提供了从“过去发生了什么”到“将来可能会发生什么”所演绎出的洞察(预测分析),而快速数据则提供了能够改善业务决策、运营并减少低效情形的实时行动,所以这一定会影响最终结果。这些方法可以适用于各种边缘和存储设备,例如照相机、智能手机和固态硬盘。

在数据上进行计算

新的工作负载基于两种场景:(1)在特定工作负载(例如图像或语音识别)训练大型神经网络;以及(2)在边缘设备上应用经过训练的(或“适合的”)神经网络。两种工作负载都需要大规模的并行数据处理,其中包括大矩阵的乘法和卷积。这些计算功能的最佳实施方式需要在大矢量或数据阵列上运行的矢量指令。RISC-V就是一种非常适合于此类型应用的架构和生态系统,因为它提供了一套由开源软件支持的标准化过程,使得开发人员能够完全自由地采用、修改甚至添加专有矢量指令。图1中概述了一些显而易见的RISC-V计算架构机会。

移动数据

快速数据和边缘计算的出现产生了一个实际的后果,即:与云端之间来回移动所有数据进行计算分析并不是一件有效率的事。首先,在移动网络和以太网中进行远距离传输时,它涉及到相对较大的数据延迟传输,这对于必须实时操作的图像识别或语音识别应用而言并不理想。其次,在边缘设备上进行计算需要更易于伸缩的架构,其中,图像和语音处理或者在SSD上进行的内存计算操作都可用一种伸缩的方式来进行。采用这种方式,每一台新增的边缘设备都会带来所需要的增量计算能力,对数据移动方式和时间进行优化是这种架构可伸缩性的一项关键因素。

图1:大数据、快速数据和RISC-V机会

在图1a中,云数据中心服务器利用在大型大数据集上训练的深度学习神经网络来执行机器学习的功能。在图1b中,边缘设备中的安全摄像机采用经过大数据训练的推理引擎来实时识别图像(快速数据)。在图1c中,智能固态硬盘设备采用推理引擎进行数据识别和分类,从而有效地利用了此设备的带宽。图1展示了RISC-V内核的潜在机会,它可以自由地添加专有的及未来标准化的矢量指令,这些指令对于处理深度学习和推理技术相当有效。

另一个类似且重要的趋势是大数据端和云端上数据的移动及访问方式(图2)。传统的计算机体系结构(图2a)采用慢速外围总线,该总线连接到许多其他设备(例如,专用机器学习加速器、图形卡、高速固态硬盘、智能网络控制器等等)。低速总线会影响设备的利用率,因为它限制了总线本身、主CPU以及主要的潜在持久内存之间的通信能力。这些新型计算设备也不可能在它们之间或与主CPU共享内存,从而导致在慢速总线上进行徒劳且受限制的数据移动。

关于如何改善不同计算设备(例如CPU和计算机及网络加速器)之间的数据移动,以及如何在内存或快速存储中访问数据,出现了几个重要的行业趋势。这些新趋势集中在开放标准化工作上,能够提供更快、更低延迟的串行结构以及更智能的逻辑协议,从而实现对共享内存的一致访问。

新一代以数据为中心的计算

未来的架构将需要为持久性内存,以及与计算架构连接的缓存一致性快速总线(例如TileLink、RapidIO、OpenCAPI和Gen-Z)部署开放接口,以大幅提高性能,使所有设备共享内存并减少不必要的数据移动。

图2:计算体系结构中的数据移动和访问

在图2a中,传统的计算体系结构由于把一条慢速外设总线用于快速存储器及计算加速设备,其能力已达到其极限。在图2b中,未来的计算体系结构采用了开放接口,能够为平台上所有的计算资源提供统一并支持高速缓存一致性(cache-coherency)的访问方式来访问共享持久内存,(这称为以数据为中心的体系结构)。在图2c中,所部署的设备能够使用相同的共享内存,从而减少了不必要的数据复制。

CPU外围核心及网络接口控制器的作用将成为支持数据移动的关键因素。CPU外围核心组件必须支持密钥内存和永久内存接口(例如NVDIMM-P),也必须支持驻留在CPU附近的内存。还需要实施面向计算加速器、智能网络和远程持久内存的智能快速总线。这种总线上的任何设备(例如CPU、通用或专用计算加速器、网络适配器、存储器或内存)都可以包含其自己的计算资源并具有访问共享内存的能力(图2b和图2c)。

RISC-V技术正是优化数据移动的关键推动因素,因为它能够在所有的计算加速器设备上针对新的机器学习工作负载来执行矢量指令。它实现了多种开源CPU技术,能够支持开放内存和智能总线接口,实现了以数据为中心具有一致性共享内存的体系结构。

用RISC-V解决挑战

大数据和快速数据为未来的数据移动带来了挑战,也为RISC-V指令集架构(ISA)铺平了道路。这种架构开放的、模块化的方法非常适合用作以数据为中心的计算体系结构的基础。它提供了以下功能:

· 扩展边缘计算设备的计算资源

· 添加新的指令,例如用于机器学习工作负载的矢量指令

· 寻找非常接近于存储器和内存介质的小型计算内核

· 支持新型计算范式以及模块化芯片设计方法

· 支持新型以数据为中心的体系结构,其中所有的处理单元都可以透过一致的方式访问共享的持久内存,从而优化数据移动

RISC-V由超过100个组织机构的众多成员共同开发,这其中包含一个由软件和硬件创新者组成的协作性社区。这些创新者能够对ISA进行改编,使其适应特定的目的或项目。任何加入该组织的人都可以根据一份“Berkeley Software Distribution”(BSD软件发布)许可证来设计、制造和/或销售RISC-V芯片和软件。

展望

为了实现数据的价值和可能性,需要捕获、保存、访问数据并将其转化为全部潜力。具有大数据和快速数据应用的环境已经超出了通用计算架构的处理能力,未来以数据为中心的极端应用程序需要专门构建的处理,以开放的方式支持数据资源的独立扩展。拥有一个以存储在永久存储器(persistent memory)的数据为中心的通用开放式计算机架构,同时允许所有设备都发挥计算作用,是驱动这些由新型机器学习进行工作负载计算的新可扩展架构的关键。

随着专业计算加速处理器专注于手头的任务,减少移动数据或执行与数据无关的额外计算所浪费的时间,所有云和边缘领域的下一代应用程序都将需要这种新型低能耗处理。通过数据的力量、潜力和可能性,人类、社区和我们的星球将得以繁荣。


原文链接:https://riscv.org/news/2018/06/embedded-computing-design-article-open-compute-with-risc-v-and-memory-fabrics/


---煤油灯科技victorlamp.com翻译整理---

你可能也喜欢这些文章

科技互联网,科技,资讯,动态,洞察,量子,计算,AI,人工智能,机器人,区块链,Web3,分布式,操作系统,OS,芯片,视频,深度,论文