
英国萨里大学(University of Surrey) SketchX的研究人员最近开发了一种基于元学习的模型,该模型允许用户只需在平板电脑、智能手机或其他智能设备上绘制草图,就可以检索特定物品的图像。这个模型框架即将在欧洲计算机视觉会议(ECCV)上发表的论文中得到了概述。欧洲计算机视觉会议(ECCV)是与CVPR和ICCV并列的三大计算机视觉会议之一。
进行这项研究的研究人员之一 Yi-Zhe Song告诉媒体:“这是‘细粒度图像检索’工作的最新进展,这是我的研究实验室(SketchX,我在2012年指导和创建)在2015年首创的一个问题,在CVPR 2015年发表了一篇论文,题为‘为我画那只鞋’,我们论文背后的想法是,通常很难或不可能在细粒度级别上进行图像检索(例如,在圣诞节找到一种特定类型的鞋子,但不是任何鞋子)。”

在过去,一些研究人员试图设计出可以根据文本或语音描述检索图像的模型。对于用户来说,文本可能更容易产生,但人们发现它只能在粗略的水平上工作,换句话说,当试图描述细节时,它会变得模糊和无效。
另一方面,草图或涂鸦本质上是细粒度的,因此是产生详细和精确的对象表示的最佳选择。此外,大多数现代智能设备都有触摸屏,用户可以在上面绘制草图。
“当涉及到基于草图的细粒度图像检索时,主要的挑战是:(1)人们不能很好地画草图,(2)我们用不同的风格草图,(3)周围没有足够的草图来训练好的模型,我们每次都发表了一系列关于这个主题的论文,涉及不同的方面。我们最新的论文同时解决了这三个问题,并进一步推动了该技术的实际应用。”Song解释说。
Song和他的同事们设计的这个模型,即使是不擅长素描的用户,也可以检索他们正在寻找的物体的图像,即使它没有使用这些物体的图像进行训练。这是通过它的“自适应”设计实现的,它允许系统适应用户独特的绘画风格,他/她的绘画质量和新的对象类别,只使用几个示例草图。

研究人员之一Ayan Bhunia说:“当你在头几次使用它时,我们的系统会很快学会与你合作(更好地理解你的草图),通常2-3个例子就足够了。最好的事情是这种适应只发生在测试时,这意味着一个人不需要为不同的用户/类别训练一个新的模型,这极大地有助于实际部署,只要向每个客户提供相同的训练模型,一旦部署,它将学会使用不同的风格/质量/类别。”
在使用公共数据集的初始评估中,研究人员的模型表现得非常好,因为它能够通过各种草图样本检索图像。在未来,在线零售商和其他公司可以使用它,让他们的客户无需浏览整个目录就能找到他们想要的产品类型。

“我们的工作已经非常成熟,下一阶段将是将我们的系统商业化,让普通用户从人工智能的最新发展中受益,这样他们就可以通过在手机屏幕上用手指涂鸦找到‘那双’鞋子,”Song补充说。“从长远来看,我们还可以将细粒度检索扩展到Metaverse。想象一下,在3D世界中用手指简单地画草图,然后正确的产品/建筑/物体就会出现在你面前。”
Song和他的同事们现在正试图将他们的模型商业化,并将其引入现实世界中来,一些世界知名的家具和服装零售商已经表示有兴趣使用这种模式来改善他们的服务。
原文链接:https://techxplore.com/news/2022-07-images-smart-devices.html