增强现实（AR）技术长期以来一直吸引着科学界和大众的兴趣，在现代科幻作品中一直是不可或缺的元素。
为了开发先进的AR助手，例如能够指导人们进行复杂手术或日常食品制作的助手，纽约大学塔农工程学院的研究团队推出了增强现实引导和用户建模系统（ARGUS）。
ARGUS是一种交互式可视化分析工具，旨在支持能够在Microsoft HoloLens 2或MagicLeap等设备上运行的智能AR助手的开发。它使开发人员能够收集和分析数据，模拟人们执行任务的方式，并找出并解决正在构建的AR助手中的问题。
纽约大学塔农工程学院计算机科学与工程学院的教授、纽约大学数据科学中心的教授Claudio Silva将在2023年10月26日于澳大利亚墨尔本举行的IEEE VIS 2023会议上发布有关ARGUS的论文。该论文在该活动的最佳论文奖中荣获荣誉提名。
"想象一下，你正在开发一款AI助手来帮助家庭厨师准备餐点，" Silva说道。"使用ARGUS，开发人员可以监控厨师在使用食材时的工作情况，以评估AI在理解环境和用户行为方面的表现。还可以评估系统如何提供相关指导和反馈给用户。ARGUS旨在供开发此类AR系统的开发人员使用。"
ARGUS有两种模式：在线模式和离线模式。
在线模式用于在AR系统正在使用时进行实时监控和调试。它使开发人员能够看到AR系统的视角，了解它如何解读环境和用户行为。他们还可以调整设置并记录数据以供后续分析。
离线模式用于分析AR系统生成的历史数据。它提供了探索和可视化数据的工具，帮助开发人员了解系统在过去的行为。
ARGUS的离线模式包括三个关键组件：数据管理器，帮助用户组织和过滤AR会话数据；空间视图，提供AR环境中空间交互的三维可视化；以及时间视图，侧重于AR会话期间动作和对象的时间进展。这些组件共同促进了全面的数据分析和调试。
"ARGUS在提供全面实时监控和回顾分析复杂多模态数据方面具有独特的能力，" Silva说道。"它的空间和时间可视化工具的整合使它在改进智能辅助AR系统方面独树一帜，提供了其他工具所没有的能力。"
这项研究已在arXiv预印服务器上发表。
