AI芯片及典型用例

煤油灯科技2023-03-06 13:41

尽管你购买的许多设备都是由某种形式的人工智能(AI)驱动的——无论是语音助手、面部识别摄像头,还是PC。然而,它们不能通过魔法工作,需要某种东西来处理所有这些数据。对于一些设备来说,可以通过庞大的数据中心在云中完成,但其他大部分设备将通过AI芯片在设备本身上完成所有处理。



那么,什么是AI芯片呢?它与设备中的其他各种芯片有何不同?本文将终点介绍AI芯片的重要性,用于不同应用的不同种类的AI芯片,以及在设备中使用AI芯片的好处。


AI处理单元及其用途


在20世纪80年代,我们看到了PC的兴起。这种增长是由CPU实现的,它执行程序中指令指定的基本算术、逻辑、控制和输入/输出操作。CPU是电脑的大脑,该领域有一批巨头,包括英特尔和AMD。

然而,当谈到CPU的发展时,我们还必须提到ARM,其芯片架构始于20世纪80年代的PC,但直到移动计算或智能手机以及在较小程度上平板电脑的兴起后,才成为主导者。到2005年,所有售出的手机中至少有98%使用了某种形式的ARM架构。2013年,全球生产了100亿个基于ARM核心的芯片,全球近60%的移动设备都采用了ARM芯片。目前,ARM已经成为AI芯片领域的重要组成部分。

然后,在20世纪90年代,实时3D图形在街机、计算机和主机游戏中变得越来越常见,这导致了对硬件加速3D图形的需求不断增加。然而,另一个硬件巨头NVIDIA通过专门从事计算机图形和图像处理的GPU(图形处理单元)来满足这一需求。NVIDIA之前还宣布了一项以400亿美元收购ARM的交易,但最终还是以失败告终。


AI处理单元(AI PU)


虽然在AI处理方面,GPU通常比CPU更好,但它们并不完美。该行业需要专门的处理器来实现AI应用、建模和推理的高效处理。因此,芯片设计者现在正致力于创建为执行这些算法而优化的处理单元。这些阵营有许多名字,如NPU、TPU、DPU、SPU等,都可以笼统的称作AI处理单元(AI PU)。

AI PU是为了执行机器学习算法,通常是通过对预测模型(如人工神经网络)进行操作。它们通常被分类为训练或推理,因为这些过程通常是独立进行的。我们在现实世界中已经看到的一些应用包括:

(1)监控系统或区域免受威胁,如涉及实时面部识别的安全系统(IP摄像头、门口摄像头等)。

(2)面向零售或与客户互动的企业级聊天机器人。

(3)语音助手的自然语言处理。


AI处理器与GPU


但是等一下,有人可能会问GPU不是已经有能力执行AI模型了吗?是的,这是真的。GPU实际上确实有一些便于处理AI模型的属性。

GPU处理二维或三维图形,因此需要同时并行处理多个函数字符串。AI神经网络也需要并行处理,因为它们有分支节点,很像动物大脑中的神经元。GPU很好地完成了这一部分。然而,神经网络也需要卷积,这就是GPU的问题所在。简言之,GPU根本上是为图形而非神经网络优化的,充其量只是一个代理。

另一个需要考虑的重要因素是目前AI发展的加速速度。世界各地的研究人员和计算机科学家正在以指数级的速度不断提升AI和机器学习的标准,CPU和GPU的进步根本无法跟上包罗万象的硬件发展。摩尔定律表明,密集集成电路(IC)中的晶体管数量大约每两年翻一番。

但是摩尔定律正在消亡,即使在最好的情况下也赶不上AI发展的步伐。AI的加速最终将依赖于专门的AI加速器,如AI PU。AI PUs通常用于以下目的:

(1)与GPU相比,将机器学习任务的计算速度提高数倍(接近10K时间)。

(2)与GPU和CPU相比,机器学习任务的功耗更低,资源利用率更高。


AI SoC组成


虽然AI PU构成了片上AI系统(SoC)的大脑,但它只是组成芯片的一系列复杂组件中的一部分。在这里,我们将分解AI SoC,与AI PU配对的组件,以及它们如何协同工作。

NPU

如上所述,这是神经处理单元或矩阵乘法引擎,在这里执行AI SoC的核心操作。我们已经讨论了很多细节,但值得指出的是,对于AI芯片制造商来说,这也是任何AI SoC从所有其他AI SoC中脱颖而出的秘密武器。

控制器

这些处理器通常基于RISC-V(开源,由加州大学伯克利分校设计)、ARM(由ARM公司设计)或定制逻辑指令集架构(ISA),用于控制所有其他模块和外部处理器并与之通信。

本地控制与否是一个基本问题,这个问题的答案是为什么要制造这种芯片,在哪里使用,由谁使用;在决定这个基本问题之前,每个芯片制造商都需要回答这些问题。

SRAM

这是用于存储模型或中间输出的本地存储器。把它想象成你家的冰箱。虽然它的存储空间很小,但是获取东西(在这种情况下是数据)或把它们放回去却非常快速和方便。在某些用例中,尤其是与edge AI相关的用例中,速度至关重要,就像一辆汽车在路上突然出现行人时需要刹车。

芯片中包含多少SRAM取决于成本和性能。一个更大的SRAM池需要更高的前期成本,但更少的DRAM(这是一种典型的,更慢、更便宜的内存,你可以在主板上找到,或者作为一个插在台式机主板上的记忆棒),所以从长远来看,这是值得的。

另一方面,较小的SRAM池具有较低的前期成本,但是需要对DRAM进行更多的访问;这种方式效率较低,但如果市场要求某个特定用例需要更实惠的芯片,IT部门可能需要削减成本。

处理速度是较大的SRAM池和较小的池之间的差异,就像RAM影响您的计算机性能和处理性能需求的能力一样。

I/O

需要这些模块将SoC连接到SoC外部的组件,例如DRAM和潜在的外部处理器。要使AI SoC的潜在性能和应用最大化,这些接口至关重要,否则你会产生瓶颈。例如,如果一个V8发动机连接到一个4加仑的油箱,它将不得不每隔几个街区泵一次气。因此,接口和它所连接的东西(DRAM、外部处理器等)需要能够最大程度的发挥AI SoC的潜在性能。

例如,DDR是DRAM的接口。因此,如果SRAM就像你家里的冰箱,那就把DRAM想象成杂货店。它有更大的存储空间,但它需要更多的时间去检索项目和返回。

互连结构

互连结构是处理器(AI PU、控制器)和SoC上所有其他模块之间的连接。与I/O一样,互连结构对提取AI SoC所有性能至关重要。只有当芯片不符合标准时,我们才会意识到芯片中的互连结构。

无论您的处理器有多快或多有突破性,只有当您的互连结构能够跟上,并且不会产生阻碍整体性能的延迟时,创新才是重要的,就像高速公路上没有足够的车道会在高峰时间造成交通堵塞一样。

所有这些组件都是AI芯片的关键部分。虽然不同的芯片可能有额外的组件或对这些组件的投资有不同的优先级,但正如SRAM那样,这些基本组件以共生的方式共同工作,以确保您的AI芯片可以快速高效地处理AI模型。与CPU和GPU不同,AI SoC的设计还远未成熟,这部分产业将持续快速发展。


AI芯片及其用例


市场上有许多不同名称的不同芯片,都有不同的命名方案,这取决于哪家公司设计它们。这些芯片有不同的使用案例,既有采用它们的模型,也有将它们用于加速的真实应用。

训练和推理

AI本质上是使用人工神经网络对人脑的模拟,人工神经网络旨在替代我们大脑中的生物神经网络。神经网络是由一组协同工作的节点组成的,可以被调用来执行一个模型。

这就是AI芯片发挥作用的地方,它们特别擅长处理这些人工神经网络,并被设计用来做两件事:训练和推理。

为训练设计的芯片本质上充当网络的老师,就像学校里的孩子一样。原始神经网络最初开发不足,通过输入大量数据来教授或训练。训练是非常计算密集型的,所以我们需要专注于训练的AI芯片,这些芯片旨在能够快速有效地处理这些数据。芯片越强大,网络学习速度越快。

一旦网络经过训练,就需要设计用于推理的芯片,以便使用现实世界中的数据,如面部识别、手势识别、自然语言处理、图像搜索、垃圾邮件过滤等。把推理想象成你最有可能在行动中看到的AI系统的一个方面,除非你在训练方面从事AI开发。

你可以把训练想象成建立一本字典,而推理类似于查找单词并理解如何使用它们,这两者都是必要且共生的。值得注意的是,为训练设计的芯片也可以推理,但推理芯片不能做训练。

云和边缘

那么,AI芯片究竟是为云用例设计的,还是为边缘用例设计的?我们是否需要为那些用例设计推理芯片或训练芯片?

云计算是有用的,因为它的可访问性,因为它的能力可以完全在异地使用。您不需要在设备上安装芯片来处理这些用例中的任何推理,这可以节省功耗和成本。然而,当涉及隐私和安全时,它也有缺点,因为数据存储在可能被黑客攻击或错误处理的云服务器上。对于推理用例,它也可能效率较低,因为它没有边缘芯片那么专业。

在边缘执行推断任务的芯片都放置在终端设备上,例如面部识别照相机。它们比使用云更隐私和安全,因为所有数据都存储在设备上,这些芯片通常是为特定目的而设计的——例如,面部识别相机将使用特别擅长运行面部识别模型的芯片。它们也有缺点,因为给设备增加另一个芯片会增加成本和功耗。因此,使用平衡成本和功率的边缘AI芯片很重要,以确保设备对于细分市场来说不会太贵,或者不会太耗电,或者仅仅不够强大才无法有效实现设目的定目标。

这些应用和芯片通常按照如下模式进行配对:

(1)云+培训

这种配对的目的是开发用于推理的AI模型。这些模型最终被提炼为特定于一个用例的AI应用。这些芯片功能强大,运行成本高,设计用于尽快训练。示例系统包括NVIDIA的DGX-2系统,由16个NVIDIA V100张量核GPU组成,总处理能力为2 petaFLOPS。再比如英特尔Habana的Gaudi芯片。

需要大量培训的日常交互应用包括脸书照片和谷歌翻译。随着这些模型的复杂性每隔几个月就会增加,云计算和培训市场将会继续存在。

(2)云+推理

这种配对用于推理需要大量处理能力的时候,这是在设备上进行推理是不可能的。这是因为应用程序利用更大的模型并处理大量数据,样本芯片包括高通的云AI 100,这是用于大规模云数据中心AI的大型芯片。另一个例子是阿里巴巴的华光800,或者Graphcore Colossus MK2 GC200 IPU。

这种训练芯片被用来训练脸书上的照片或谷歌翻译,云推理芯片用来处理使用这些公司创建的模型输入的数据。其他例子包括AI聊天机器人,或大型科技公司运营的大多数AI服务。

(3)边缘+推理

使用设备上的边缘芯片进行推理消除了任何网络不稳定或延迟问题,并且更好地保护了所用数据的隐私和安全性。使用上传大量数据所需的带宽没有相关成本,特别是图像或视频等视觉数据,因此只要平衡成本和能效,它就比云推理更便宜、更高效。

这类例子有Kneron自己开发的芯片,包括KL520和最近推出的KL720芯片,这些芯片是为设备使用而设计的低功耗、高性价比的芯片。其他例子包括英特尔Movidius和谷歌的 Coral TPU。

这种用例包括面部识别监控摄像头、用于行人和危险检测或驾驶意识检测的车辆摄像头,以及用于语音助手的自然语言处理。

所有这些不同类型的芯片及其不同的实现、模型和用例对于未来AI物联网(AIoT)的发展至关重要。AI正在迅速成为我们生活的一个重要部分,无论是在家里还是在工作中,AI芯片领域的发展将会很快。如果得到5G、6G等其他新兴技术的支持时,成长的可能性只会增加。


参考链接:

https://www.techradar.com/news/what-is-an-ai-chip-everything-you-need-to-know

 

---煤油灯科技victorlamp.com编译整理---

你可能也喜欢这些文章