人工智能(AI)先驱Geoffrey Hinton是十年前开始的深度学习初创“革命”的开拓者之一，他表示，人工智能的进步将继续加速发展。
在2012年人工智能重大突破的关键神经网络研究十周年的前夕，Hinton和其他人工智能领域的领军人物在接受了采访，回击了一些认为深度学习“碰壁”的批评人士。
Hinton表示，“我们将看到机器人技术的巨大进步——更灵巧、敏捷、顺从的机器人会像我们人类一样更高效、更轻柔地做事。”
其他人工智能的开拓者，包括Meta的人工智能主管和首席科学家Yann LeCun和斯坦福大学教授李飞飞（Fei-Fei Li），都同意Hinton的观点，即2012年对ImageNet数据库的开创性研究的结果——该数据库建立在之前的工作基础上，以解锁计算机视觉和整体深度学习方面的重大进展，推动了深度学习进入主流，并引发了难以阻挡的巨大势头。
在接受媒体采访时，LeCun表示AI发展的障碍正在以令人难以置信的速度被清除。他补充说：“过去四五年技术的进展是惊人的。”
李飞飞在2006年发明了ImageNet，这是一个用于开发计算机视觉算法的人类注释照片的大规模数据集。她告诉媒体，自2012年以来，深度学习的发展是“一场我做梦都想不到的惊人革命”。
然而，成功往往会招致批评。有强烈的声音指出深度学习的局限性，并表示其成功的范围极其狭窄。他们还坚持认为，神经网络所创造的只是炒作，而且还没有接近于一些支持者所说的那种根本性突破：“它是最终将帮助我们实现预期的人工通用智能(AGI)的基础，在这种情况下，人工智能的推理能力真正类似于人类。”
Geoffrey Hinton
回顾AI蓬勃发展的十年
纽约大学名誉教授，Robust的创始人兼首席执行官Gary Marcus在今年3月写了一篇关于深度学习“碰壁”的文章中表示，尽管这方面确实取得了进展，但“我们仍然停留在对物理世界的常识知识和推理上。”
华盛顿大学(University of Washington)计算语言学教授Emily Bender经常批评所谓的“深度学习泡沫”。她表示，她不认为如今的自然语言处理(NLP)和计算机视觉模型能在“其他人所说的AI和AGI”方面取得“实质性进展”。
尽管如此，批评者不能忽视的是，计算机视觉和语言等一些关键应用领域已经取得了巨大进展，数千家公司开始争相利用深度学习的力量，这种力量已经在推荐引擎、翻译软件、聊天机器人等领域产生了令人印象深刻的结果。
然而，也有一些严肃的深度学习争论不容忽视。例如，围绕人工智能伦理和偏见，以及人工智能监管如何保护公众在就业、医疗保健和监视等领域不受歧视的问题，这些重要的问题需要解决。
2022年，当我们回顾AI蓬勃发展的十年时，我们想知道以下几点：我们可以从过去十年的深度学习进展中学到什么？这种革命性的技术正在改变世界，它的未来会是怎样的呢？
Yann LeCun
人工智能的先驱们预见一场革命即将来临
Hinton说，他一直知道深度学习“革命”即将到来。
Hinton在1986年发表的论文推广了训练多层神经网络的反向传播算法，他说：“我们很多人都相信这一定是人工智能的未来。我们成功地证明了我们一直相信的东西是正确的。”
LeCun在1989年率先使用了反向传播和卷积神经网络，他对此表示赞同。“我毫不怀疑，最终，类似于我们在80年代和90年代开发的技术”将被采用，他说。
Hinton和LeCun等人所相信的是一种跟主流相反的观点，即深度学习体系结构，如多层神经网络，可以应用于计算机视觉、语音识别、NLP和机器翻译等领域，产生与人类专家一样好甚至更好的结果。他们反驳了那些经常拒绝考虑他们的研究的批评者，坚称反向传播和卷积神经网络等算法技术是启动人工智能进展的关键，自上世纪80年代和90年代的一系列挫折以来，人工智能进展已经停滞不前。
李飞飞
同时，李飞飞也是斯坦福大学以人为中心的人工智能研究所的联合主任，也是谷歌人工智能和机器学习的前首席科学家，她也相信她的假设是正确的：通过正确的算法，ImageNet数据库掌握着推进计算机视觉和深度学习研究的关键。
“这是对机器学习的一种非常创新的思考方式，也是一种高风险的举动，”李飞飞说，但“我们从科学上相信，我们的假设是正确的。”
然而，所有这些经过几十年人工智能研究发展起来的理论，直到2012年秋天才完全证明了自己，当时出现了一项突破，许多人说它引发了一场新的深度学习革命。
2012年10月，Hinton的博士生Alex Krizhevsky和Ilya Sutskever，参加了ImageNet竞赛，该竞赛由李飞飞创立，旨在评估设计用于大规模目标检测和图像分类的算法。Hinton三人凭借他们的论文《用深度卷积神经网络进行ImageNet分类》获奖，该论文使用ImageNet数据库创建了一个开创性的神经网络，称为AlexNet。事实证明，在对不同图像进行分类时，它比以前的任何东西都要准确得多。
这篇论文令人工智能研究界惊叹不已，它建立在早期突破的基础上，多亏了ImageNet数据集和更强大的GPU硬件，直接引领了未来十年人工智能的主要成功故事：从谷歌Photos、谷歌Translate和Uber到Alexa、DALL-E和AlphaFold。
自那以后，AI领域的投资呈指数级增长：全球AI创业投资从2011年的6.7亿美元增长到2020年的360亿美元，然后在2021年再次翻倍，达到770亿美元。
ImageNet
2012年神经网络成为主流
2012年ImageNet大赛之后，媒体很快就注意到了深度学习的趋势。《纽约时报》的一篇文章《科学家看到了深度学习项目的前景》提到：“利用一种受大脑如何识别模式理论启发的人工智能技术，科技公司报告称，在计算机视觉、语音识别和有前景的用于药物设计的新分子识别等多个领域取得了惊人的进展。”文章还补充称，“这种被称为人工神经网络，或简称为神经网络的新技术，采用与人脑相似的神经连接结构，成功推动深度学习程序在速度与准确性方面达到一个又一个新高度。”
AlexNet并不是当年唯一制造深度学习大新闻的公司：2012年6月，谷歌的X实验室的研究人员建立了一个由16000个计算机处理器和10亿个连接组成的神经网络，随着时间的推移，该网络开始识别“类似猫”的特征，直到它能够高度准确地识别YouTube上的猫视频。与此同时，Jeffrey Dean和Andrew Ng正在谷歌Brain进行大规模图像识别的突破性工作。在2012年的IEEE计算机视觉和模式识别会议上，研究人员Dan Ciregan等人显著提高了卷积神经网络在多个图像数据库上的最佳性能。
总而言之，到2013年，“几乎所有的计算机视觉研究都转向了神经网络，”Hinton说，从那时起，他就把时间分配在谷歌研究中心和多伦多大学。他补充说，这几乎是人工智能领域从2007年以来最彻底转变，“在这之前，在一个会议上最多只能发表一篇关于深度学习的论文。”
深度学习的十年进展
李飞飞作为深度学习历史性突破的亲历者——她亲自在2012年意大利佛罗伦萨的会议上宣布ImageNet竞赛的获胜者，这意味着人们认识到那一刻的重要性。
“ImageNet是一个始于2006年的愿景，几乎没有人支持，”李飞飞说。但她补充说，这“真的以一种历史性的、重大的方式得到了回报”。
自2012年以来，深度学习的进展速度令人震惊，也令人印象深刻。
LeCun说：“有一些障碍正在以令人难以置信的速度被清除。”于是他列举了自然语言理解、文本生成翻译和图像合成方面的进展。
有些领域的进展甚至比预期的要快，对Hinton来说，这包括在机器翻译中使用神经网络，这在2014年取得了巨大进步。“我以为还要很多年，”他说。李飞飞承认，计算机视觉的进步，比如DALL-E，“比我想象的要快”。
对深度学习批评者的反驳
然而，并不是所有人都认为深度学习的进展令人大受鼓舞。2012年11月，纽约大学名誉教授、Robust的创始人兼首席执行官Gary Marcus为《纽约客》(New Yorker)写了一篇文章，他在文中说：“套用一个古老的寓言，Hinton造了一个更好的梯子，但更好的梯子并不一定能把你带到月球上。”
如今，Gary Marcus表示，他认为深度学习并没有使人工智能比十年前更接近“月球”——月球是人工通用智能，或人类级别的人工智能。
“当然已经取得了进展，但为了登上月球，你必须解决因果理解、自然语言理解和推理的问题，”他说。“在这些方面还没有取得很大进展。”
Marcus表示，他认为将神经网络与符号人工智能(在深度学习兴起之前主导该领域的人工智能分支)结合起来的混合模型是克服神经网络局限性的前进道路。
Hinton和LeCun都驳斥了马库斯的批评。
“(深度学习)并没有碰壁——如果你看看最近的进展，就会发现它是惊人的，”Hinton说，尽管他过去也承认深度学习在它能解决的问题范围上是有限的。
LeCun补充道：“没有遇到障碍。”他说：“我认为，要清除障碍和解决这些障碍的办法还不完全清楚。但我完全没有看到进展放缓……如果有的话，进展反而正在加速。”
不过，Bender 并不信服。她通过电子邮件告诉媒体：“从某种程度上说，他们只是在讨论根据ImageNet等基准提供的标签对图像进行分类的进展，2012年似乎有了一些质的突破。如果他们谈论的是比这更宏大的东西，那都是炒作。”
Gary Marcus
人工智能的偏见和伦理问题凸显出来
在其他方面，Bender也认为人工智能和深度学习领域已经走得太远了。她说：“我确实认为，(计算能力+有效算法)将非常大的数据集处理成可以生成合成文本和图像的系统的能力，已经在很多方面让我们走出了困境。”例如，“我们似乎陷入了一个循环，人们‘发现’模型是有偏见的，并建议尝试去偏见，尽管已经确定的结果是不存在完全去偏见的数据集或模型。”
此外，Bender表示，她希望“看到该领域遵守真正的问责标准，无论是对实际被测试的经验主张还是对产品安全，为了实现这一点，我们将需要广大公众了解什么是危险的，以及如何看穿人工智能炒作的主张，我们将需要有效的监管。”
然而，LeCun指出，“这些都是复杂而重要的问题，人们倾向于将其简单化”，而且很多人“怀有恶意的假设”。他坚持认为，大多数公司“实际上都想做正确的事情。”
此外，他还抱怨了那些不参与人工智能科技和研究的人。
Bender
关于深度学习的争论还将继续
尽管这些争论看起来很激烈，但李飞飞强调，这就是科学的意义所在。“科学不是真理，科学是寻求真理的旅程，”她说。“这是一段发现和进步的旅程，所以辩论、批评和庆祝都是其中的一部分。”
然而，一些辩论和批评让她觉得“有点不自然”，无论是说AI完全错了，还是说AGI即将到来，双方都有极端观点。李飞飞说：“我认为这是一场更深刻、更微妙、更细致、更多维的科学辩论的相对普及版本。”
当然，李飞飞指出，在过去10年里，人工智能的进步也有令人失望的地方，而且并不总是与技术有关。她说：“我认为最令人失望的事情是在2014年，当时我和我以前的学生一起创建了AI4ALL，开始把年轻女性、有色族裔学生和来自服务不足社区的学生带入人工智能的世界。我们希望看到人工智能世界的未来更加多样化。”
虽然这才过去了8年，但她坚持认为，这种变化仍然太慢。她说：“我希望看到更快、更深入的变化，但我没有看到各方做出足够的努力，尤其是在初高中年龄段。我们已经失去了很多有才华的学生。”
人工智能和深度学习的未来
LeCun承认，一些人们投入了大量资源的人工智能挑战还没有得到解决，比如自动驾驶。
“我想说，其他人低估了它的复杂性，”他说，并补充说，他不认为自己是那种人。“我知道这很难，而且会花很长时间，”他说。“我不同意一些人的说法，他们说我们基本上已经解决了所有问题，认为只是把这些模型做得更大就行。”
事实上，LeCun最近发布了一份创建“自主机器智能”的蓝图，也表明了他认为目前的人工智能方法无法让我们达到人类级别的人工智能。
但他也看到了深度学习未来的巨大潜力。他说，他个人最感兴趣和积极致力于的是让机器更有效地学习：更像动物和人类。
LeCun说：“对我来说，最大的问题是动物学习的基本原则是什么：这也是我一直提倡自我监督学习的原因之一。这一进展将使我们能够构建目前完全无法实现的东西，比如智能系统，它们可以在日常生活中帮助我们，就像人类助手一样，这是我们将需要的东西，因为我们都将戴上增强现实眼镜，我们将随时随地与它们互动。”
Hinton也认为，还有更多的深度学习进展正在进行中。除了机器人技术的进步，他还相信神经网络的基础计算基础设施会有另一个突破，因为“目前它只是用非常擅长做矩阵乘数的加速器完成的数字计算。”他说，对于反向传播，模拟信号需要转换成数字信号。
他说：“我认为我们会找到在模拟硬件中工作的反向传播的替代方案。我非常确信，从长远来看，我们几乎所有的计算都将通过模拟来完成。”
李飞飞说，对深度学习的未来，最重要的是交流和教育。她说：“在斯坦福大学信息技术学院，我们实际上花费了大量的精力来教育商业领袖、政府和政策制定者、媒体和记者，以及整个社会。我们举办座谈会、会议、讲习班，发布政策简报和行业简报。”
她补充说，由于技术是如此的新，“我个人非常担心，由于缺乏必要的背景知识，而无法传达人们对人工智能时代的细致描述与深入思考。”
10年黄金期的深度学习将如何被人们铭记
Hinton认为，过去十年的深度学习取得的成功“超出了我的想象”。
但是，他强调，虽然深度学习已经取得了巨大的进步，但它也应该作为一个计算机硬件进步的时代而被记住。“这一切都有赖于计算机硬件的进步，”他说。
Gary Marcus等批评人士表示，虽然深度学习已经取得了一些进展，但“我认为事后来看，这可能是一场不幸的冒险，”他说。“我认为2050年的人们会看到2022年的系统，然后说，是的，它们是勇敢的，但它们并没有真正起作用。”
但李飞飞希望过去的十年将作为一场“伟大的数字革命的开始而被铭记，这场革命使所有人，而不仅仅是少数人或部分人，更好地生活和工作。”
她补充说，作为一名科学家，“我永远不会认为今天的深度学习是人工智能探索的终结。”在社会方面，她说她希望看到人工智能是“一种不可思议的技术工具，正在以最以人为本的方式开发和使用，我们必须认识到这一工具的深远影响，并接受以人为本的框架来思考、设计和部署人工智能。”
毕竟，她指出：“未来人们将如何记住我们，取决于我们现在在做什么。”
