AI 技术如何修复我们模糊的照片

煤油灯科技2022-11-23 10:08

我们都有过这样的经历:你拍了一张照片,它就是不太好,你移动太多,或者灯光不好,或者被摄对象模糊,一切都发生得太快了,你没有时间去适应环境,所以你再试一次,但你再次失败了,这是令人沮丧的。

很多时候,你无法抓住一个一生只有一次的时刻。比如孩子迈出第一步,儿子吹灭生日蜡烛的一刻,妻子冲过终点线,你都没有第二次机会去拍照——要么你现在就拍下来,要么你永远都拍不下来。此外,如果你试图拍摄移动的物体,比如汽车或动物,几乎不可能拍出清晰的照片。

如果有一种方法可以让你永远不再拍出糟糕的照片呢?那只有人工智能的力量了。

GAN的简史

GAN在2014年由Ian Goodfellow和他的同事在一篇题为“生成对抗网”的论文中首次提出。GAN由两个神经网络组成,一个是生成器,一个是鉴别器。生成器网络接收一个随机输入向量并生成一个图像,鉴别器网络接收图像并输出图像是否真实,这两个网络是互相训练的。生成器试图欺骗判别器,而判别器试图不被生成器欺骗。随着他们的训练,他们在各自的任务中都做得更好,最终的结果是一个生成器网络,它能够生成足够真实的新数据,甚至可以愚弄人类。

生成器和鉴别器模型在零和游戏中相互竞争,生成器的目标是欺骗鉴别器,使其认为生成的样本是真实的,而鉴别器的目标是正确地对真实和假样本进行分类。在收敛时,生成器应该能够生成与真实数据无法区分的样本,而鉴别器应该输出所有样本的50/50预测,然后可以丢弃鉴别器。

GAN 的类比

一个很好的类比是艺术伪造者,伪造者是生成器,而艺术专家是鉴别者。造假者试图制造赝品,让专家相信它是真的,专家正试图找出假货。随着他们的训练,伪造者在伪造赝品方面做得更好,而专家则更善于发现赝品。

我们如何使用GAN修复模糊的照片?

我们可以使用GAN来修复模糊的照片,就像我们可以使用GAN来生成新数据一样。我们可以拍一张模糊的照片,然后用GAN生成一张新的、清晰的照片。GAN将学会从照片中去除模糊,并生成一张清晰的照片,看起来很逼真。

这个过程被称为超级分辨率,其目的是从一个低分辨率的图像产生一个高分辨率的图像。生成器网络接收低分辨率的图像并将其放大,鉴别器网络接收高分辨率图像并将其缩小。然后,这两个网络互相训练。在训练过程中,生成器网络学会提升图像,识别器网络学会降低图像的比例。在收敛时,生成器应该能够将图像放大到足够高的分辨率,从而使鉴别器无法分辨。

超分辨率技术的发展

基于GAN的超分辨率方法于2016年首次提出,第一种方法称为SRGAN,是由Ledig等人提出的。SRGAN是一种使用GAN训练的深度卷积神经网络,SRGAN中的生成网络对低分辨率图像进行上采样,然后应用大量的卷积层生成高分辨率图像,SRGAN中的鉴别器网络用于区分生成网络生成的真实高分辨率图像和伪高分辨率图像。

自SRGAN引入以来,已经有许多其他基于GAN的超分辨率任务方法被提出,这些包括ESRGAN、RankSRGAN和RDN,所有这些方法都在各种基准数据集上取得了最先进的结果。

ESRGAN由Wang等人在2018年提出,它是一种基于GAN的方法,在生成器网络中使用残差密集块(RRDB)。RRDB块被设计成允许网络学习深度残留特征,ESRGAN中的鉴别器网络是一个PatchGAN,PatchGAN是一个鉴别器网络,它根据局部补丁而不是整个图像对图像进行分类,这使得PatchGAN训练更有效,也产生了更好的视觉效果。

RankSRGAN由Guo等人于2019年提出,它是一种基于GAN的方法,使用rank网络对生成网络生成的虚假图像进行排序,rank网络经过训练,从最佳到最差对虚假图片进行排名,这有助于生成器网络专注于生成更好的假图像。

超越 GAN 的技术

虽然到目前为止GAN已经给我们带来了非常令人印象深刻的结果,但研究人员现在正在研究另一种优于GAN的技术!这些相对较新的模型类型被称为扩散模型,而不是训练一个模型来提升模糊的图像,它允许神经网络从技术随机噪声开始,并从头重建一个清晰的图像!看看下面的结果,它确实令人兴奋,但我们不会在本文中研究扩散模型的世界。

结论

人工智能的世界正以闪电般的速度发展,每天都有新的创新,我们可以期待这些技术不断改进,以我们从未想过的方式给我们带来惊喜。所以,请关注下一个突破,模糊照片的日子可能很快就要结束了。


原文链接:https://medium.com/@aryagm01/blurry-photo-let-ai-help-899d7fbe0264


---煤油灯科技victorlamp.com翻译整理---

你可能也喜欢这些文章

科技互联网,科技,资讯,动态,洞察,量子,计算,AI,人工智能,机器人,区块链,Web3,分布式,操作系统,OS,芯片,视频,深度,论文