正如所有司机知道的那样，事故可能发生在眨眼间——当涉及到自动驾驶汽车的摄像头系统时，处理时间至关重要。系统拍摄图像并将数据传送到微处理器进行图像处理所需的时间可能意味着避免障碍或陷入重大事故的区别。

哈佛大学的SEAS的研究人员开发了可以集成到商业硅成像传感器芯片中的传感器内处理器。该阵列简化了自动驾驶汽车和其他应用的图像处理。(来源：哈佛大学SEAS分校)

传感器内图像处理可以加速视觉处理，其中重要特征由图像传感器本身而不是单独的微处理器从原始数据中提取。迄今为止，传感器内处理的演示仅限于新兴的研究材料，至少目前难以整合到商业系统中。

现在，哈佛大学John A. Paulson工程和应用科学学院(SEAS)的研究人员开发了第一款可以集成到商业硅成像传感器芯片中的传感器处理器——被称为互补金属氧化物半导体(CMOS)图像传感器——用于几乎所有需要捕捉视觉信息的商业设备，包括智能手机。这项研究发表在《自然 电子学》上。

“我们的成果可凭借主流半导体电子行业，迅速将传感器计算引入各种现实世界的应用中，”SEAS大学电气工程和应用物理的Gordon McKay教授、该论文的高级作者Donhee Ham说。

Ham和他的团队开发了一种硅光电二极管阵列。商用图像传感芯片也有一个硅光电二极管阵列来捕捉图像，但该团队的光电二极管是静电掺杂的，这意味着可以通过电压调节单个光电二极管或像素对入射光的灵敏度。将多个电压可调光电二极管连接在一起的阵列可以执行对许多图像处理流水线至关重要的乘法和加法运算的模拟版本，一旦捕捉到图像就提取相关的视觉信息。

“这些动态光电二极管可以在捕捉图像的同时过滤图像，从而将视觉处理的第一阶段从微处理器转移到传感器本身，”SEAS的博士后研究员、论文的第一作者Houk Jang说。

硅光电二极管阵列可以编程到不同的图像滤波器中，以消除各种应用中不必要的细节或噪声。例如，自动驾驶汽车中的成像系统可能需要高通滤波器来跟踪车道标志，而其他应用可能需要模糊滤波器来降低噪声。

“展望未来，我们预见这种基于硅的传感器内处理器不仅可以用于机器视觉应用，还可以用于生物驱动的应用，其中早期信息处理允许传感器和计算单元共处一地，就像在大脑中一样，”SEAS大学的研究生、论文的第一作者enry Hinton说。

接下来，该团队的目标是增加光电二极管的密度，并将它们与硅集成电路集成在一起。

“通过用这里开发的可编程像素取代商用硅图像传感器中的标准不可编程像素，成像设备可以智能地删除不需要的数据，从而可以在能源和带宽方面提高效率，以满足下一代传感应用的需求，”Jang说。

原文链接：

https://seas.harvard.edu/news/2022/08/silicon-image-sensor-computes