
就在几年前,伯克利工程师们向我们展示了他们如何通过一种名为神经辐射场(Neural Radiance Fields,简称NeRF)的技术将图像轻松转化为3D可导航场景。如今,另一个伯克利研究团队开发出了一个开发框架,以帮助加速NeRF项目的进展,并使这项技术更容易为其他人所使用。
由电气工程与计算机科学助理教授Angjoo Kanazawa领导的这个研究团队开发了一个名为Nerfstudio的Python框架,提供了可供实施基于NeRF方法的即插即用组件,从而更便于合作和将NeRF纳入项目中。Kanazawa和她的团队将在2023年的SIGGRAPH(国际计算机图形学和交互技术研讨会)上发表有关Nerfstudio的论文,并将其发布为计算机图形学和交互技术特别兴趣小组会议会议论文的一部分。
Kanazawa表示:NeRF的改进促使其在计算机视觉、机器人技术、视觉效果和游戏等领域越来越受欢迎并被广泛应用。但该技术的开发支持仍然滞后。Nerfstudio框架旨在简化自定义NeRF方法的开发、处理现实世界数据以及与重构的交互。
这个新框架已经帮助到了广泛领域中使用交互式计算机图形学的工程师,特别是那些希望在现实世界环境中创建3D重构的人员。包括使用NeRF进行操纵、动作规划、模拟和地图制作的机器人学家,以及使用交互式图形来讲述故事的游戏工作室和新闻机构。
研究人员和工业团体正在使用Nerfstudio,因为它提供了开源框架以及最新的NeRF研究成果。这使得人们可以轻松地开始使用NeRF,而无需从头开始。因此,即使你正在进行尖端研究,拥有这个基线或起点的工具也能大大加快进展。
自从NeRF 问世以来,全球的研究人员一直在努力改进核心技术,从提高实时图像渲染和训练速度,到开发新的编辑功能。他们还试图使NeRF在光照变化或物体在场景中移动等新情况下运行。但这项工作通常由使用专有资源库的研究团体进行,这使得很难与更广大的NeRF社区共享这些贡献。
Nerfstudio通过提供一个“整合这些研究创新”的模块化框架来应对这些挑战。此外,通过开源许可证,它促进了“社区驱动的开发”,并公开提供相关代码和数据。最终的目标是使Nerfstudio成为一个开源的社区项目,吸引研究人员感兴趣,并帮助推动进一步发展。
目前,伯克利有20名工程师积极贡献于Nerfstudio并帮助维护该项目。自2022年10月推出以来,甚至有多达100名校外人员为核心代码做出了贡献。
Nerfstudio还使用户能够轻松运行他们收集的现实世界数据上的NeRFs,这对开发者来说是一个常见的挑战。同时,这也使得这项技术对于没有NeRF专业知识的用户,例如特效工作室和社交媒体用户,更加易于接触。