展示模型将个体真实地插入不同场景的能力。挑战包括在给定场景上下文的情况下推断出合理的姿势、重新摆姿势以及协调光照和阴影的插入
最近出现的生成模型，计算工具可以根据训练的数据生成新的文本或图像，为创意产业开辟了有趣的新可能性。例如，它们使艺术家和数字内容创作者能够轻松制作出融合了不同图像或视频元素的逼真媒体内容。
受这些最新进展的启发，斯坦福大学、加州大学伯克利分校和 Adobe Research 的研究人员开发了一种新模型，可以逼真地将特定人物插入不同场景，例如展示他们在健身房锻炼、在海滩上看日落。
他们提出的架构基于一类称为扩散模型的生成模型，在一篇预先发表在arXiv服务器上的论文中进行了介绍，并将在 2023 年6月温哥华计算机视觉和模式识别会议 (CVPR)上发表。
“视觉系统天生就具有推断环境或场景允许的潜在动作或交互的能力，这一概念被称为‘可供性’，”进行该研究的研究人员之一Sumith Kulal说。
“这一直是视觉、心理学和认知科学领域广泛研究的主题，过去二十年开发的可供性感知的计算模型往往由于其方法和数据集的固有局限性而受到限制。然而，令人印象深刻的现实主义证明“通过大规模生成模型展示了一条有前途的进步途径。有了这些见解，我们的目标是打造一个可以明确梳理出这些可供性的模型。”
Kulal 和他的同事进行这项研究的主要目的是将生成模型应用于可供性感知任务，以期获得更可靠和更现实的结果。在他们最近的论文中，他们特别关注将一个人真实地插入到给定场景中的问题。
在推理时展示模型的辅助任务，包括幻觉一个与场景兼容的人，生成适合给定人的场景，以及在虚拟试穿设置中交换衣服
“我们的输入包括一个人的图像和一个具有指定区域的场景图像，输出是一个逼真的场景图像，现在包括这个人，”Kulal 解释道。“我们的大规模生成模型在包含数百万个视频的数据集上进行了训练，可以更好地概括新场景和人物。此外，我们的模型还展示了一系列有趣的辅助功能，例如人物幻觉和虚拟试穿。”
Kulal 和他的同事使用自我监督的训练方法训练了一个扩散模型，这是一种可以将“噪音”变成所需图像的生成模型。扩散模型的工作原理基本上是“破坏”它们所训练的数据，向其添加“噪声”，然后通过逆向这个过程来恢复一些原始数据。
在训练期间，研究人员创建的模型收到了显示人类在给定场景中移动的视频，并从每个视频中随机选择了两帧。第一帧中的人被遮盖了，这意味着人周围的像素区域变灰了。
然后，该模型尝试使用第二帧中相同的、未屏蔽的个体作为条件信号来重建该屏蔽帧中的个体。随着时间的推移，该模型因此可以学会真实地复制人类如果被放置在特定场景中的样子。
自我监督培训计划，提取了两个随机帧，第一帧中的人被屏蔽掉了。然后将第二帧中的人用作条件元素来修复图像
“我们的方法迫使模型从场景上下文中推断出可能的姿势，重新摆出人的姿势，并协调插入，”Kulal 说。“这种方法的一个关键组成部分是我们的数据集，该数据集由数百万个人视频组成。由于其规模，我们的模型在架构上与稳定扩散模型相似，可以很好地概括不同的输入。”
研究人员在一系列初步测试中评估了他们的生成模型，他们在其中输入了人物和场景的新图像，然后观察它如何将这些人放在场景中。他们发现它表现得非常好，创建的编辑图像看起来非常逼真。与过去引入的非生成模型相比，他们的模型预测的可供性更好，并且可以在更多样化的环境中工作。
Kulal 说：“我们很高兴观察到该模型对广泛的场景和人物图像的有效性，在大多数情况下都能准确地识别出适当的可供性。” “我们预计我们的研究结果将对未来在可供感知和相关领域的研究做出重大贡献。对机器人研究的影响也很重要，其中识别潜在的交互机会至关重要。此外，我们的模型在创建逼真的媒体（例如作为图像和视频）。”
未来，Kulal和他的同事开发的模型可以集成到许多创意软件工具中，以扩展它们的图像编辑功能，最终支持艺术家和媒体创作者的工作。它还可以添加到照片编辑智能手机应用程序中，让用户可以轻松、真实地在照片中插入人物。
“这项工作为未来的探索提供了几个潜在的途径，”Kulal补充道。“我们正在考虑在生成的姿势中加入更大的可控性，最近的作品如 ControlNet 提供了相关的见解。人们还可以扩展这个系统来生成人类在场景中移动的真实视频，而不是静态图像。我们还对模型效率感兴趣，质疑我们是否可以用更小、更快的模型实现相同的质量。最后，本文提出的方法并不局限于人类；我们可以将这种方法推广到所有物体。”
参考链接：https://techxplore.com/news/2023-05-realistically-insert-humans-images.html
