元宇宙吸引了我们的集体想象力，目前互联网连接设备和虚拟内容的指数级发展正在为元世界的普遍接受做准备，这要求企业超越传统的方法来创建元宇宙内容。然而，使用人工智能(AI)和机器学习(ML)的元宇宙等下一代技术依赖巨大的数据集才能有效运行。

这种对大型数据集的依赖带来了新的挑战，技术用户越来越意识到他们的敏感个人数据是如何获得、存储和使用的，因此制定了旨在防止组织在未经明确许可的情况下使用个人数据的规定。

如果没有大量准确的数据，就不可能训练或开发AI/ML模型，这严重限制了元宇宙的开发。随着这一困境变得越来越紧迫，合成数据作为一种解决方案越来越受欢迎。

事实上，根据Gartner的数据，到2024年，创建人工智能和分析项目所需的60%的数据将由综合生成。

合成数据工作原理

机器学习算法通过摄入真实数据来训练行为模式，生成合成数据，并生成保留原始数据集统计属性的模拟假数据。这类数据可以复制真实世界的环境，而且与标准的匿名数据集不同，它不会像真实数据一样容易出现同样的缺陷。

随着AR/VR和元宇宙的发展朝着更精确的数字环境发展，它们现在需要新的能力让人类与数字世界无缝交互，这包括与虚拟对象交互的能力，使用精确的眼睛凝视估计的设备上渲染优化，逼真的用户化身表示，以及在实际环境之上创建坚实的3D数字覆盖。ML模型学习3D对象，如网格，变形模型，表面法线从照片和获取这些视觉数据来训练这些AI模型是具有挑战性的。

训练3D模型需要大量的面部和全身数据，包括精确的3D标注。该模型还必须学会执行诸如手姿势和网格估计、身体姿势估计、凝视分析、3D环境重建和编解码化身合成等任务。

Synthesis AI首席执行官兼创始人Yashar Behzadi在接受采访时表示：“元宇宙将由新的强大的计算机视觉机器学习模型提供动力，该模型可以理解用户周围的3D空间，准确捕捉动作，理解手势和交互，并将情感、语音和面部细节转换到逼真的虚拟人物。”

使用合成数据，公司可以生成可定制的数据，使项目更有效地运行，因为它可以很容易地在创意团队之间分发，而不必担心遵守隐私法，这提供了更大的自主权，使开发人员能够更高效地专注于创收任务。

Behzadi表示，他相信将电影视觉效果技术与生成AI模型相结合，将允许合成数据技术提供大量不同的、完美标记的数据，为元宇宙提供动力。

为虚拟世界加速的计算机视觉

为了增强用户体验，用于进入元宇宙的硬件设备发挥着同样重要的作用。然而，硬件必须得到软件的支持，才能使真实世界和虚拟世界之间的过渡无缝衔接，而这如果没有计算机视觉是不可能实现的。

为了正常工作，AR/VR硬件需要了解其在现实世界中的位置，为用户提供详细而准确的虚拟环境3D地图。因此，凝视估计(即通过一个人的面部和眼睛图像来判断他在看什么)是当前AR和VR设备的一个关键问题。特别地，VR严重依赖于foveated渲染技术，这种技术在视场中心的图像产生高分辨率和极好的细节，但边缘的图像逐渐恶化。

VR 设备的眼睛注视估计和跟踪架构部署了中心点渲染。也就是说，视野中心的图像以高分辨率生成，但周边的图像会逐渐劣化，以获得更有效的性能。

根据NVIDIA的Omniverse开发平台副总裁Richard Kerris的说法，合成数据生成可以作为这种情况的补救措施，因为当与对象交互或构建训练环境时，它可以提供视觉上准确的用例示例。

Kerris告诉媒体：“通过提供持续的开发集成和测试工作流，模拟生成的合成数据加快了AR/VR应用开发。此外，当从现实世界的数字孪生中创建时，这些数据可以帮助训练人工智能，以适应人眼看不到的各种近场传感器，此外还可以提高位置传感器的跟踪精度。”

当进入虚拟现实时，一个人需要一个化身来代表一个沉浸式的虚拟社会体验。未来的元宇宙环境将需要逼真的虚拟化身，代表真实的人，并能捕捉他们的姿势。然而，构建这样一个角色是一个棘手的计算机视觉问题，现在正通过使用合成数据来解决这个问题。

Kerris解释说，最大的挑战是在不损害隐私的情况下，以高保真度生成各种各样的化身，以及服装和发型等配饰和相关情感。大规模的程序生成各种数字人类角色可以为特定的用例创造无限不同的人类姿势和动画角色，使用合成数据的程序生成有助于处理这多种类型的化身。

用计算机视觉识别物体

为了估计3D物体的位置和它们在数字世界(如元宇宙)中的材料属性，光必须与物体及其环境相互作用，以产生类似于现实世界的效果。因此，基于人工智能的元宇宙计算机视觉模型需要理解物体的表面，以便在3D环境中准确渲染它们。

Evalueserve全球数据和分析主管Swapnil Srivastava表示，通过使用合成数据，人工智能模型可以根据身体类型、照明/照明、背景和环境等进行预测和更现实的跟踪。

元宇宙/全宇宙或类似的生态系统将高度依赖逼真的、有表现力和行为的人类，现在可以通过合成数据实现。人类不可能在像素完美的尺度上注释2D和3D图像。有了合成数据，这种技术和物理障碍就被弥合了，可以在确保真实感的同时实现准确的注释、多样性和定制。

手势识别是与虚拟世界交互的另一个主要机制。然而，考虑到手部的复杂性和对3D位置跟踪的需求，为精确的手部跟踪建立模型是复杂的。使任务更加复杂的是，需要捕捉精确代表用户多样性的数据，从肤色到是否存在戒指、手表、衬衫袖子等。

Behzadi表示，该行业目前正在使用合成数据来训练手部跟踪系统，以克服这些挑战。

Behzadi说：“通过利用3D参数化手模型，公司可以创建大量精确的3D标记数据，跨越人口统计、混淆、相机视角和环境。数据可以在不同的环境和相机位置/类型之间产生，从而实现前所未有的多样性，因为生成的数据没有潜在的隐私问题。这一层次的细节比人类所能提供的要多出数量级，并使更大层次的现实主义成为元宇宙的动力，”

将合成数据用于元宇宙的挑战

Srivastava表示，与目前的过程相比，元宇宙将收集更多的个人数据，如面部特征、肢体姿势、健康状况、财务状况、社会偏好和生物特征等。

“保护这些个人数据点应该是最优先的任务，组织需要有效的数据治理和安全策略，以及一致的治理过程。确保人工智能中的道德规范对于在元宇宙中扩展效率非常重要，同时为培训、存储和在生产中部署模型创建负责任的数据，”他说。

同样，Behzadi表示，合成数据技术将允许以符合隐私和道德的方式构建更具包容性的模型。然而，由于这一概念是新的，广泛采用需要教育。

“元宇宙是一个广泛而不断发展的术语，但我认为我们可以期待新的、深度沉浸式的体验——无论是社交互动、重新塑造消费者和购物体验、新型媒体，还是我们尚未想象到的应用程序。像OpenSynthetics.com这样的新举措是朝着正确的方向迈出的一步，帮助建立一个由研究人员和工业伙伴组成的社区，以推进技术。”Behzadi说。

对于想要使用合成数据生成在元宇宙中构建和操作虚拟世界的公司来说，创建可用于模拟的数据集是一项挑战。Kerris 表示，现有的3D资产不足以实现精确的训练范式。

Kerris最后说：“这些数据集必须具有有用的信息和特征。例如，重量、摩擦力和其他因素必须包含在设备中，以便在训练中发挥作用。我们可以期待来自公司的更多模拟就绪库，这将有助于加速元宇宙应用中合成数据生成的用例，以及机器人和数字孪生等工业用例。”

原文链接：https://venturebeat.com/ai/deep-dive-how-synthetic-data-can-enhance-ar-vr-and-the-metaverse/