机器学习为用户提供了在虚拟现实中打开和控制工具的“超人”能力

煤油灯科技2023-12-04 11:15

研究人员已经开发了一个虚拟现实应用程序,利用用户手部的动作即可打开和控制各种3D建模工具。

剑桥大学的研究人员运用机器学习技术开发了“热手势”——类似于许多桌面应用程序中使用的快捷键方法。

HotGestures给用户提供了在虚拟现实中构建图形和形状的能力,而无需与菜单进行互动,帮助他们在完成任务的同时保持专注,不打断他们的思路线。

在虚拟现实中拥有打开和控制工具的概念,几十年来一直是电影中的常见情节,但研究人员表示,这是首次实现了这种“超人”能力。这一成果已在《IEEE Transactions on Visualization and Computer Graphics》杂志上发表。

虚拟现实(VR)及其相关应用多年来一直被吹捧为改变游戏规则的技术,但除了游戏领域之外,其价值并未完全显现出来。剑桥大学工程系的Per Ola Kristensson教授,率领研究团队表示:“使用虚拟现实,用户能够获得一些新的体验,但极少有人愿意长时间使用它。虚拟现实带来的视觉疲劳和人体工程学问题之外,其实并未提供任何真实世界无法获得的东西。”

大多数桌面软件用户都对热键这一概念并不陌生——即命令快捷键,如Ctrl+C表示复制,Ctrl+V表示粘贴。虽然这些快捷键省去了用户寻找正确工具或命令的菜单打开步骤,但它们依赖于用户记住正确的命令。

“我们希望将热键的概念转化为对虚拟现实更有意义的东西——这不依赖于用户已经掌握某种快捷方式,”克里斯滕森说道。他同时也是人类启发人工智能中心的联合主任。

克里斯滕松和他的同事们不再使用热键,而是开发了一种名为“热手势”的功能,在3D虚拟现实环境中,用户可以通过手势来开启和控制所需的工具。

例如,执行剪切动作将打开剪刀工具,而喷射动作则会打开喷雾罐工具。用户无需打开菜单来寻找所需工具,也不需要记住特定的快捷方式。在任务进行中,用户可以通过执行不同的手势无缝切换不同的工具,而无需暂停工作浏览菜单或在控制器或键盘上按下按钮。

"我们在现实世界中都是通过手势来进行交流的,因此将这种交流形式延伸到虚拟世界是合乎情理的," Kristensson说道。

为了这个研究,研究人员构建了一个神经网络手势识别系统,可以通过对输入的手部关节数据流进行预测来识别手势。该系统被设计用于识别与建立3D模型相关的十种不同手势:笔、立方体、圆柱体、球体、调色板、喷雾、裁剪、缩放、复制和删除。

团队进行了两项小型研究,参与者使用HotGestures、菜单命令或两者结合的方式。基于手势的技术为工具选择和使用提供了快速有效的快捷方式。参与者发现HotGestures独特、快速且易于使用,同时也与传统的基于菜单的交互方式相辅相成。

研究人员设计了这一系统,以确保没有错误的激活——基于手势的系统能够准确识别何为指令,何为正常手部运动。总体而言,基于手势的系统比基于菜单的系统更快。

克里斯滕森表示:“目前还没有任何可实现这一点的虚拟现实系统。如果使用虚拟现实就跟使用键盘和鼠标一样的话,那使用它有何意义呢?它应该赋予你几乎超人般的力量,这是其他任何地方都无法获得的。”

研究人员已经公开提供了源代码和数据集,以便虚拟现实应用程序设计师能够将其融入到他们的产品中。

"我们希望这成为与虚拟现实互动的标准方式,"克里斯滕森说道。"几十年来,我们一直使用那种疲倦的旧比喻——文件柜。我们需要与技术互动的新方式,而我们认为这是迈向这个方向的一步。如果做得正确,虚拟现实可以像魔术一样令人惊叹。"

你可能也喜欢这些文章