2022年人工智能深度学习领域的4个思考

煤油灯科技2022-10-24 09:10

我们将把人工智能(AI)深度学习领域又一年令人激动的发展抛在脑后,2022这一年充满了显著的进步、争议。在我们快结束2022年,准备迎接2023年的到来之际,总结了一下今年深度学习领域最引人注目的一些总体趋势。

1. 规模仍然是一个重要因素

在过去几年里,深度学习的一个不变的主题是创建更大的神经网络的驱动力。计算机资源的可用性使得扩展神经网络、专门的AI硬件、大型数据集以及像transformer 模型这样的可扩展架构的开发成为可能。

目前,公司正在通过将神经网络扩展到更大的规模来获得更好的结果。去年,DeepMind发布了2800亿参数的大语言模型(LLM) Gopher;谷歌宣布了路径语言模型(PaLM),拥有5400亿个参数,以及通用语言模型(GLaM),拥有多达1.2万亿个参数;微软和英伟达发布了威震天-图灵NLG,一个5300亿参数的LLM。

规模的一个有趣的方面是突发能力,大模型成功地完成了小模型无法完成的任务。这种现象在LLM中尤为有趣,因为随着规模的增长,模型在更大范围的任务和基准上显示出有前景的结果。

2. 无监督学习继续有效

许多成功的深度学习应用都需要人类为训练实例标注标签,这也被称为监督学习,但互联网上的大多数数据并没有附带监督学习所需的清晰标签。而且数据注释既昂贵又缓慢,会造成瓶颈。这就是为什么研究人员长期以来一直在寻求无监督学习的进展,在无监督学习中,深度学习模型在不需要人类注释数据的情况下得到训练。

近年来,这一领域取得了巨大的进步,尤其是LLM,它们主要是通过从互联网收集的大量原始数据进行培训。尽管LLM在2022年继续取得进展,但我们也看到了非监督学习技术的其他趋势。

例如,今年的文本到图像模型有了显著的进步。OpenAI的DALL-E 2、谷歌的Imagen和Stability AI的Stable Diffusion等模型都展示了无监督学习的力量。与旧的文本到图像模型不同,旧的文本到图像模型需要注释良好的图像对和描述,而这些模型使用的是互联网上已经存在的带有松散标题的图像的大型数据集。训练数据集的巨大规模(这是可能的,因为不需要手动标记)和字幕方案的可变性使这些模型能够找到文本和视觉信息之间的各种复杂模式。因此,它们在为各种描述生成图像时要灵活得多。

3.多模式取得了长足的进步

文本到图像生成器还有另一个有趣的特性:它们在单个模型中组合了多种数据类型,能够处理多种模式使深度学习模型能够承担更复杂的任务。

多模态对于人类和动物的智力非常重要。例如,当你看到一棵树,听到风吹过树枝的沙沙声,你的大脑会很快把它们联系起来。同样地,当你看到“树”这个词时,你可以迅速想象出树的形象,记住雨后松树的气味,或者回忆起你以前的其他经历。

显然,多模态在使深度学习系统更加灵活方面发挥了重要作用。这一点可能在DeepMind的Gato中得到了最好的展示。Gato是一个深度学习模型,训练对象是各种数据类型,包括图像、文本和本体感觉数据。Gato在多个任务中都表现不错,包括图片配文、互动对话、控制机械臂和玩游戏,这与经典的深度学习模型形成了对比,经典的深度学习模型旨在执行单一任务。

一些研究人员甚至提出,我们需要一个像Gato这样的系统来实现人工通用智能(AGI)。虽然很多科学家不同意这种观点,但可以肯定的是,多模态为深度学习带来了重要的成果。

4. 基本的深度学习问题依然存在


尽管深度学习取得了令人印象深刻的成就,但该领域的一些问题仍未得到解决。其中包括因果关系、合成性、常识、推理、计划、直观物理以及抽象和类比。

纯规模和基于数据的深度学习方法帮助在这些问题上取得了渐进的进展,但未能提供确定的解决方案。

同样,文本到图像生成器创建了令人惊叹的图形,但当被要求绘制需要构图或有复杂描述的图像时,会犯基本错误。

不同的科学家正在讨论和探索这些挑战,包括一些深度学习的先驱。其中最著名的是图灵奖得主、卷积神经网络(CNN)的发明者扬·勒昆(Yann LeCun),他最近写了一篇长文,讨论仅从文本学习的LLM的局限性。LeCun正在研究一种深度学习架构,它可以学习世界模型,并可以解决该领域目前面临的一些挑战。

深度学习已经取得了长足的进展。但是,我们取得的进步越多,我们就越意识到创建真正智能系统的挑战,明年的发展肯定会和今年一样激动人心。


原文链接:https://venturebeat.com/ai/four-thoughts-on-ai-deep-learning-in-2022/

你可能也喜欢这些文章

科技互联网,科技,资讯,动态,洞察,量子,计算,AI,人工智能,机器人,区块链,Web3,分布式,操作系统,OS,芯片,视频,深度,论文