解决光学成像难题“圣杯”-科学家们开发了神经波前成像相机

煤油灯科技2023-09-11 11:10

莱斯大学和马里兰大学的工程师们开发了一种全景视频技术,可以潜在地用于制作能透过雾、烟雾、倾盆大雨、混浊的水、皮肤、骨头以及其他能够反射散射光并使物体模糊不清的介质的相机。

“在光学成像领域,透过散射介质的成像被视为‘终极目标问题’,”莱斯大学的阿肖克·维拉拉盖文(Ashok Veeraraghavan),也是近期发表在《科学进展》上的一项开放获取研究的共同通讯作者说。“散射是造成光变得不可用的因素,由于光波长较短,因此具有更好的空间分辨率,在许多场景下不可应用。如果能够消除散射的影响,成像技术将会得到极大的进展。”

维拉拉盖文实验室与马里兰大学共同通讯作者克里斯托弗·梅茨勒(Christopher Metzler)的研究小组合作,创建了一项被称为“NeuWS”的技术,其核心技术是“神经波前塑形”(neural wavefront shaping)的缩写。

“如果你询问从事自动驾驶车辆研发的人们面临的最大挑战,他们会说:‘恶劣天气。我们无法在恶劣天气下进行良好的成像。’”维拉拉加万说道。“他们所说的‘恶劣天气’在技术上实际上是指光散射。如果你询问生物学家在显微镜技术中的最大挑战,他们会说:‘我们无法在活体组织内成像深层组织。’他们所说的‘深层组织’和‘活体’实际上是指他们想要透过皮肤和其他组织层的光散射问题。如果你询问水下摄影师的最大挑战,他们会说:‘我只能拍摄距离我近的物体。’实际上,他们指的是水中的光散射问题,因此无法深入足够远以关注远处的事物。

在所有这些情况以及其他情况下,真正的技术难题是光散射。NeuWS有望在这些情景和其他情景中克服光散射问题。

从概念上讲,NeuWS基于一个原则,即光波是复杂的数学量,具有两个关键性质,可以计算出任意位置的值。第一个是大小,即波在该位置的能量量级,第二个是相位,即波在该位置的振动状态。梅特斯勒和维拉拉加万表示,测量相位对于克服光散射至关重要,但由于光学光的高频率,直接测量是不切实际的。”

因此,他们改用“波前”来测量传入的光,即单个测量,其中包含相位和强度信息,并使用后端处理来快速解读每秒几百个波前测量中的相位信息。

“技术上的挑战在于找到一种快速测量相位信息的方法,虽然 WISH 解决了同样的问题,但它是基于一切都是静态和美好的假设。在现实世界中,事物是不断变化的。使用 NeuWS 的想法不仅是消除散射效应,而且要足够快地消除它们,以便散射介质在测量过程中本身不发生变化。

不是测量振荡本身的状态,而是测量其与已知波前的关联。取一个已知的波前,将其与未知的波前干涉,然后测量两者产生的干涉图案。这就是这两个波前之间的相关性。

顶尖的空间光调制器能够每分钟进行几百次此类测量。Veeraraghavan、Metzler及其同事展示了他们如何利用光调制器和他们的计算方法来捕捉被介质散射遮挡而无法看清的移动物体的视频。

这是第一步,是实时纠正光散射技术的概念验证。

在一组实验中,一个显微镜玻片上印有猫头鹰或乌龟的图像被放在纺车上旋转,并由顶部的摄像机拍摄。在摄像机和目标玻片之间放置了散射介质,然后研究者测量NeuWS纠正光散射的能力。散射介质的例子包括洋葱皮、涂有指甲油的玻片、鸡胸组织切片和光扩散薄膜。对于每个例子,实验结果表明NeuWS能够纠正光散射,并产生清晰的旋转图像。

研究团队开发了算法,可以连续估计散射和场景。他们使用的数学技术称为神经表示,它能够既高效又快速地实现。

NeuWS快速调制来自入射波前的光,产生几个略微改变的相位测量值。然后,这些改变的相位被直接输入一个拥有16,000个参数的神经网络中,该网络可以快速计算出恢复波前原始相位信息所需的相关性。

神经网络能够通过要求更少的测量来提高速度。这实际上是最大的卖点。较少的测量基本上意味着我们需要更少的捕捉时间。这就是我们能够捕捉视频而不只是静态帧的原因。

 

---煤油灯科技victorlamp.com编译整理---

你可能也喜欢这些文章