更快、能效更高的衍射光学神经网络（ONN）可以用于图像和视频处理。

研究人员首次利用表面法线非线性光电探测器（SNPD）的能量，提高了衍射光学神经网络（ONN）的速度和能效。这一创新性的设备为大规模ONN的发展铺平了道路，这种网络可以以以极为节能的方式以光速进行高速处理。

来自诺基亚贝尔实验室的Farshid Ashtiani将在2023年10月9日至12日于华盛顿州塔科马（大西雅图地区）的塔科马大会议中心（Greater Tacoma Convention Center）举行的光学前沿+激光科学（FiO LS）会上介绍这项研究成果。

Ashtiani解释说：“人工智能（AI）在我们的生活中扮演着日益重要的角色。从大型语言模型到自动驾驶汽车，我们看到了AI所带来的显著改进。”他补充道：“灵感来源于人脑学习和执行各种任务的神经网络是AI进步的核心。神经网络的广泛应用之一是识别模式和物体，从而为机器赋予视觉能力。例如，每辆自动驾驶汽车，甚至半自动驾驶汽车都必须通过能够观察事物来理解其周围环境。”

传统处理与光学神经网络

"Nokia Bell实验室的Mohamad Hossein Idjadi表示：“传统上，图像由相机拍摄，转换为电信号，并使用CPU或GPU等电子处理器进行对象识别。"

"然而，由于图像最初是在光学领域（即光）中，使用ONN光学处理它们可能会更快且更节能。在不同的技术中，基于空间光调制器的ONN能够实现对高分辨率图像和视频的光学处理。这种处理需要非线性模块，而相机传感器通常用于引入所需的非线性，这需要数毫秒的时间。

"我们的新型探测器设备使这种非线性处理比相机快1000倍且更省能。这对于下一代机器视觉系统至关重要，因为我们都需要更快速且不消耗过多能量的智能设备。

自由空间衍射光学神经网络的优势

自由空间衍射光学神经网络使用空间光调制器，对于创建图像和视频处理所需的大规模神经网络特别有前景。然而，这种ONN类型的速度和能效通常受到用于实现多层神经元的非线性激活函数的图像传感器的限制，以创建深度神经网络。"

在这项新工作中，研究人员提出了使用之前他们展示过的高速电光调制器SNPD（Superconductor-Normal-Metal-Superconductor Tunnel Junction Device）在高分辨率的衍射式光神经网络（ONN）中的思路。测试表明，SNPD的3-dB带宽为61 kHz，相当于不到6微秒，约比传统用于此类ONN的相机传感器的典型响应时间快1000倍。该传感器还仅消耗大约10 nW/像素，比典型相机高出三个数量级的效率。

测试与影响

为了评估该传感器在ONN中的效能，研究人员将图像输入到卷积层中，这是神经网络的主要组成部分。卷积层具有32个并行的3×3核，并且使用实际测得的SNPD响应作为其激活函数，而不是标准的整流线性激活函数。通过这个仿真设置，网络实现了大约97%的测试分类精度，与在相同网络中使用理想的整流线性激活函数的表现相同。

该研究展示了在自由空间的衍射式光神经网络中使用SNPD的潜力。这个探测器比相机快三个数量级、更高效，使其成为大规模自由空间ONN系统中值得期待的候选者。

“我们需要制造大量的探测器装置，甚至可能需要数百万个，来构建一个完整的视觉系统，并与传统相机提供的高分辨率竞争，”来自诺基亚贝尔实验室的Stefano Grillanda补充道，“好消息是，从技术上讲这是可能的。进一步减小探测器的体积、能耗和响应时间，以使其成为未来人工智能视觉系统的更好解决方案，是另一个可以探索的方向。”