新型AI成像工具允许交互式3D操纵2D图片

煤油灯科技2023-06-17 18:50

来自马克斯普朗克信息学研究所,MIT,谷歌和宾夕法尼亚大学的计算机科学家团队开发了一种新的人工智能成像工具,用于用户交互式三维操纵以照片为基础的二维图像。该团队在arXiv预印本服务器上发表了一篇论文,介绍了名为DragGAN的新工具,并附带短视频展示该工具的功能。

Photoshop最早于1980年代末发布,自那以后,它和类似的应用程序一直被用于编辑照片。这种使用已经成为社交媒体的标准内容,人们可以在发布在线照片之前将图像进行图像处理以“提升”其质量。在这项新的研究中,研究团队通过添加人工智能将图像编辑提升到了一个全新的水平。

乍一看,DragGAN看起来非常像任何其他图像处理工具。但由创意团队发布的视频澄清了,它能够做到以前没有任何应用程序接近的事情,让用户实时在虚拟的三维空间中修改图像。研究人员称这样的结果为"幻象遮挡内容"。

照片本质上是二维的。以往的照片编辑工具可以允许模糊,着色甚至是补丁其他图像。但所有的这些编辑都是基于用户的努力 - 用户必须引导颜色纠正或模糊皱纹。一个基于人工智能的照片编辑工具,通过分析数千或数百万其他图像来识别特征,可以推断出照片中缺少的部分的样子,并根据用户提供的信息进行修改。

例如,在一个视频中,一个生气的人的照片可以通过单击和拖动变为同一个人微笑的照片,甚至可以旋转人的面部,显示原始照片中未曾捕捉到的头部部分。同样,只需几个单击和拖动,汽车、动物或景观也可以被大幅改变。将人工智能应用于照片编辑,为该类别添加了全新的维度,这一维度可能会像Photoshop初次推出时一样引起轰动。

更多信息:Xingang Pan等人,《Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold》,arXiv (2023). DOI: 10.48550/arxiv.2305.10973

 

---煤油灯科技victorlamp.com编译整理---

你可能也喜欢这些文章

科技互联网,科技,资讯,动态,洞察,量子,计算,AI,人工智能,机器人,区块链,Web3,分布式,操作系统,OS,芯片,视频,深度,论文