
中国的一个联合研究团队在《智能计算》杂志上写了一篇关于传感器内视觉计算的综述。传感器内视觉计算是一种三合一的硬件解决方案,比传统机器视觉系统更高效、经济和安全。传统机器视觉系统在不同的硬件单元上收集、存储和解读视觉信号,而传感器内视觉计算系统受到人类和其他哺乳动物如何收集、提取和处理视觉信号的启发,其生物机制复杂而精妙,具有低延迟和低能量消耗的特点。通过将传感、存储和计算集成到图像传感器的焦平面上,传感器内视觉计算系统在每个传感器内部处理数据,并仅从原始信号中提取关键信息,而不像传统系统那样处理整个图像数据。
因此,传感器内视觉计算系统有潜力克服阻碍传统对应系统进一步发展的三个主要障碍——高延迟、高能耗和隐私风险。
传感器内计算设备的发展主要集中在新型电路设计和新材料上。该综述着重介绍了一种名为SCAMP像素处理器阵列或SCAMP芯片的新型电路设计的视觉芯片,该芯片在新兴传感器中比较成熟,是相关研究的"跨学科和富饶的研究平台"。这种焦平面传感器处理器首次在二十年前被开发出来,像SCAMP芯片这样不断改进的焦平面传感器处理器已经在计算实验中广泛应用,但尚未得到彻底调查。
作者首先介绍了基于SCAMP芯片的最新系统SCAMP-5d,这是一个通用、可编程、极其并行的系统,广泛应用于机器人技术和计算机视觉领域。还介绍了为编程该芯片开发的软件工具和平台,包括用于编程芯片的开发框架,用于模拟芯片操作的半模拟和全模拟平台以及用于优化视觉处理算法的内核滤波器编译器。
接下来,作者概述了基于多功能SCAMP芯片的传感器内视觉计算算法和应用。他们回顾了从底层图像处理技术(如图像增强和特征提取)到更高级任务(如基于神经网络的分类、定位和分割)的算法。这些算法所实现的应用主要是状态估计和机器人导航。
尽管使用SCAMP像素处理器阵列的传感器内视觉计算系统带来了广泛的技术进步,但它们仍然存在一些限制,如低分辨率、有限的计算资源、噪声和不理想的算法设计和部署。为了弥补当前的限制,同时探索其他非传统的计算方法,如传感器融合和边缘计算,下一代SCAMP视觉系统的工程师和研究人员正试图将这些障碍转化为机遇。
作者们自己积极参与学术和商业目的下的电路设计、集成技术和相关算法的"联合开发和优化"。他们相信,下一代SCAMP视觉系统将在更低的能耗下展现出更好的性能。
该综述的作者为上海大学的Yanan Liu、同济大学的Rui Fan、哈尔滨工业大学的Jianglong Guo、山东建筑大学的Hepeng Ni以及香港中文大学的M. Usman Maqboo Bhutta。