在过去的一年里，世界上大多数偶然看到人工智能生成图像的人可能会错误地认为“生成式”这个流行词以前从未听说过，但任何对人工智能有更多了解的人都会熟悉这样一个事实，即生成式AI的起源是伴随着GANs的出现。
Yoshua Bengio，图灵奖得主，加拿大计算机科学家和深度学习先驱
GANs：生成式人工智能的开端
2014年，一组研究人员，包括前谷歌大脑研究科学家Ian Goodfellow，他的教授和图灵奖获得者Yoshua Bengio等人发表了一篇关于生成对抗网络(GANs)的论文。他们决定以一种富有想象力的方式使用神经网络——他们会让两个网络相互竞争，不断地试图智胜对方。两者都将使用相同的图像数据集进行训练，最终生成一个足够有说服力的新假图像。
GANs给了深度学习模型以前没有的东西——想象力。因此，GANs将被视为赋予机器具有类人意识的最大步骤之一，这篇论文在社区里引起了轰动，Goodfellow一下子就成了名人。
在《Analytics India Magazine》的独家专访中，人工智能的坚定支持者Bengio盛赞自那以后生成模型所取得的进步。例如OpenAI的DALL.E等文本到图像生成器所取得的最新进展。DALL.E和StabilityAI的稳定扩散，Bengio说：“给我印象最深的一件事是生成模型的进步。”
扩散模型的起源
Bengio还赞扬了扩散模型的快速增长。2015年，在一篇题为《使用非平衡热力学的深度无监督学习》《‘Deep Unsupervised Learning using Nonequilibrium Thermodynamics》的论文中，扩散模型是形成生成模型的下一步。
扩散模型工作得更快，生成的图像比GANs生成的图像质量更好。
这些模型研究了一种去噪技术，该技术将损坏的图像重新合成，直到产生最终的干净图像。这就是稳定扩散的工作原理——经过训练，它可以重复地从图像中添加和去除少量的噪声，直到生成最终的输出。
Stable Diffusion 中的扩散模型是如何工作的
现代生成模型的突破
对于Bengio和人工智能社区中其他熟悉的成员来说，这些概念都不新鲜。“这背后的一些想法可以追溯到十多年前，”他说。Bengio留下了一系列论文来证明这一点。2013年，Bengio、Li Yao和其他几个研究人员发表了一篇关于去噪的论文，题为《作为生成模型的广义去噪自动编码器》《High-Resolution Image Synthesis with Latent Diffusion Models》，谈到了去噪和收缩自编码器的重要性。
目前所有主要的文本到图像生成器，包括DALL。e2，谷歌的Imagen和Stable Diffusion，使用扩散模型。
去年取得的一项重大突破促成了他们的突出地位。
2021年12月，一篇题为《用潜在扩散模型合成高分辨率图像》的论文介绍了潜在扩散模型，这些模型在训练过程中使用自动编码器将图像压缩到相对较小的潜在空间。然后，使用自编码器解压缩最终的潜在表示，最终生成输出图像，这种在潜在空间中不断重复的扩散过程大大减少了图像的生成时间和成本。
潜在扩散模型还可以做生成模型以前不能做的其他事情，比如图像修补、超分辨率和语义场景合成。
回归概率ML和其他概念
Bengio也曾热情地关注过概率机器学习领域，并坚信该领域的进步可以解决深度学习的一些挑战。“我对概率机器学习领域的进展感到非常兴奋，”他指出。
概率机器学习设计的AI模型可以帮助机器通过经验理解什么是学习，它使用统计数据通过随机事件或行为来预测未来结果的可能性。例如，概率分类器可以将0.8的概率分配给“猫”类，这表明它非常确信图像中的动物是猫。如果人们能把这些点连接起来，就可以立即应用于自动驾驶汽车。
概率 ML 是各种学科领域的混合体
概率机器学习有一个很大的优势——它清楚地表明机器对预测的准确性有多自信或不确定。
根据Bengio的说法，这些古老的想法有可能在现代人工智能中卷土重来，就像旧酒在新瓶子里一样。他认为另一个因素可能具有变革性，那就是因果关系。虽然关于因果关系的思想链在前苏格拉底时代就出现了，但深度学习研究人员很晚才认识到它们，因为在ML模型中缺乏因果关系表示所带来的挑战。
Bengio说：“目前机器学习(包括深度学习)最大的限制之一是正确地泛化到新环境(如新的分布)的能力——我们称之为‘分布外泛化’，而人类非常擅长这一点。”他说，有充分的理由认为人类擅长于此，因为他们有世界的因果模型。“如果你有一个好的因果模型，你可以推广到新的环境，”他补充说。
原文链接：https://analyticsindiamag.com/what-excites-yoshua-bengio-about-the-future-of-generative-ai/
---煤油灯科技victorlamp.com翻译整理---
