直到最近，三维表面重建一直是一个相对缓慢而费力的过程，需要进行大量的试错和手工输入。但是如果您能用智能手机拍摄一个物体或场景的视频，并将其转换为一个准确、详细的模型，就像大师级雕塑家从大理石或黏土中创造杰作那样，会是怎样呢？它的创造者声称，合理命名为“神经安吉洛”的系统正是通过神经网络的力量完成这一壮举，并且可以达到亚毫米级的准确度。

由惠廷工程学院计算机科学系的研究人员与科技巨头NVIDIA共同合作的一个项目，这个高保真度的神经表面重建算法能够精确地呈现日常物体、知名雕塑、熟悉的建筑以及整个环境的形态，仅凭借智能手机视频或无人机镜头拍摄，无需额外输入。他们的发现已经在预印本服务器arXiv上进行了报告。

推动虚拟现实环境、自主机器人导航以及智能手术室的算法都有一个根本性的要求：它们需要能够处理并准确解释来自现实世界的信息，以正常运作。这种知识是通过3D表面重建实现的，其中一个算法采用不同视角的多个2D图像，以一种其他程序可以识别和操作的方式呈现真实环境。

"神经安吉罗（Neuralangelo）项目是由赵硕 "Max" 李发起的。他于2019年从惠丁学院（Whiting School）计算机科学硕士毕业，并于2023年获得计算机科学博士学位。在2022年的暑期实习期间，他在NVIDIA担任研究科学家，并始创了这一项目。他的目标不仅是改进现有的3D重建技术，还要让这些技术对任何拥有智能手机的人都能够使用。"

他问道，我们如何能够借助廉价可得的视频，获得与人类对于三维环境的相同理解，从而使这项技术普及于每个人手中呢？

与约翰霍普金斯大学顾问拉塞尔·泰勒（约翰·C·马龙计算机科学教授）和马蒂亚斯·温伯思（计算机科学助理教授）以及NVIDIA研究人员托马斯·穆勒和亚历克斯·埃文斯，项目经理刘铭宇和实习导师林辰璇的合作下，李先生致力于普及三维曲面重建技术。

团队在创建Neuralangelo时的第一步是解决早期重建算法在渲染大面积均一色、重复纹理模式和强烈色彩变化时所面临的问题。因为传统算法只能通过分析梯度一次仅查看和比较局部像素的区域，所以它们产生的重建结果不准确，表面上会出现“噪点”，比如在屋顶上漂浮着斑点，或者会有缺失，比如实心砖墙上出现了洞，团队表示。

"简单的解决方案是添加手动输入，"李解释道。"这样做确实能获得更好的结果，但并不及Neuralangelo的水平。"

Neuralangelo团队不仅仅依靠人类的努力，而是聚焦于解决问题的根源，选择在多分辨率哈希网格表示中使用数值梯度，以显著提升算法的重建质量。这意味着Neuralangelo不仅超越了局部像素，而且采用了一种更全面的方法来锐化和增强细节表面，并更进一步地平滑平坦的表面，同时仍然捕捉到场景的所有重要细节，团队指出。

研究人员还实现了一种由粗到精的优化过程。宛如雕塑家从一块大理石中雕刻出越来越精细的细节，该算法从粗糙的哈希分辨率开始，类似于一个对对象或场景进行粗略估计，然后逐步增加分辨率，以“雕刻出”更精细的细节和复杂性，直到实现高保真、逼真的三维重建，团队表示。

然后，他们继续改进算法，以从手动拍摄的2D视频中提取图像。在传统算法面对视频伪影、如从直射阳光到浓重阴影的曝光变化等情况时，传统算法往往遇到困难。然而，李解释称，Neuralangelo的架构天生能够适应这些变动，这些变动在真实视频捕捉中自然而然地发生。

团队以Neuralangelo根据一段为时两分钟的无人机视频重构Shriver Hall外观的成果作为其能力的一个例子。

"没有需要奢华的测量设备——比如激光雷达，常常需要花费数百或数千美元——来捕捉一个手术室、街景或你家中的一个房间；你只需要用智能手机的相机，就可以以同样的渲染质量来实现这一目标，"Li说道。

输入视频的质量仍然会影响最终结果，但根据李先生的说法，智能手机、无人机和专业相机都可以胜任。

他说：“我告诉人们，‘垃圾进，垃圾出。’” “但对于任何算法输入来说，这基本上都是真实的。”

Neuralangelo仍然在处理高反射表面时遇到困难。由于其高度表现力，它倾向于完全重建镜面般的表面所反射的场景，呈现出更像是一个立体景观而非平整的玻璃效果，但NVIDIA的研究团队表示他们正致力于解决这个问题。李先生还希望通过公开的源代码，他和计算机图形学界可以优化这一算法，以在几分钟内获得结果。

与此同时，Neuralangelo被认为是对于3D打印爱好者、视频游戏和计算机生成图形资产设计师以及外科应用领域的一个令人兴奋的发展。李甚至在他的论文中运用了Neuralangelo，利用它来生成高度逼真的病人头骨重建模型，以用于复杂的颅底手术中。

他设想了未来的增强现实应用，能够像自动驾驶汽车的行人接近警示那样，提醒外科医生与患者大脑的距离。

“对于人类来说，要量化具体的距离非常困难——无论我们是在谈论几米远或毫米精确度，但算法可以提供这种互补的技能。”他解释道。

神经安琪儿团队于2023年6月底在加拿大温哥华举行的2023年计算机视觉与模式识别会议上展示了他们的研究成果。李表示，对于这一算法的未来已经引起了广泛的兴奋。

他将使用Neuralangelo的未来虚拟助手比作钢铁侠的“J.A.R.V.I.S.”——能够与用户互动，提供实时反馈，并且最重要的是，准确理解现实世界中正在发生的事情。

“我们想象一个能够意识到物体几何形状之外的更多信息的神经安吉洛；它能够理解自己所看到的东西。”他说道。