Meta首席人工智能科学家Yann LeCun表示，人工智能深度学习时代的力量，已导致企业在信息技术领域的研发在某种程度上复兴。
LeCun在本月通过Zoom与媒体和高管举行的一次小型会议上表示：“与之前的人工智能时代相比，我们正在研究的技术类型具有更大的商业影响，范围更广。”
“其结果是，它吸引了大量研究资金，事实上，引起了行业研究的复兴。”
LeCun说，就在20年前，微软研究院还是唯一一个“在信息技术领域有一定地位”的行业实体。但LeCun说，在2010年代，“谷歌Research真正脱颖而出，我创建的FAIR (Facebook AI Research)和其他几个实验室开始成立，基本上恢复了行业可以进行基础研究的想法。”
LeCun说，企业研发的复兴正在发生，“因为由于这些技术，未来可能发生的事情和现在发生的事情的前景都很美好。”
LeCun表示，应用人工智能的价值导致了一个双轨系统，即企业研发部门保持更长远的登月项目，然后另一条轨道将研究引向实际产品应用。
“对于Meta这样的公司来说，同时拥有一个具有雄心勃勃的长期目标的大型研究实验室是完全合理的，比如建立具有人类智能水平的智能虚拟助手，因为这是我们最终想要的;但与此同时，已经开发的技术已经很有用了。
LeCun说：“例如，在过去两三年里，多种语言的内容审核和语音检测在很大程度上已经发生了革命性的变化，Transformer以自我监督的方式进行了预训练。”LeCun指的是谷歌在2017年推出的Transformer自然语言处理程序，该程序已成为OpenAI的ChatGPT等众多程序的基础。
LeCun说：“这取得了巨大的进步，令人难以置信的进步，这要归功于人工智能研究的最新进展。”
LeCun受邀参加了Collective[i]Forecast举办的一个半小时的演讲，Collective[i]是一个在线互动讨论系列，由Collective[i]组织，自称是“旨在优化B2B销售的人工智能平台”。
LeCun回答了一个问题：即工业和商业对人工智能前所未有的兴趣对人工智能基础科学有什么影响。
LeCun称自己对人工智能应用于社会的能力“乐观”。他指出，即使人工智能无法实现某些目标，它也会产生有益的影响。
LeCun提供了一个自动驾驶汽车系统的例子，尽管这些系统并不是真正的自动驾驶，但它提供了拯救生命的道路安全功能。
LeCun说：“现在，欧洲生产的每辆汽车都必须配备自动紧急制动系统(ABS)。这在美国不是必需的，但很多车都有。”
他指出，ABS是“同样的系统，也可以让汽车在高速公路上自动驾驶，对吧?”他指出，制动机制减少了40%的碰撞。“所以，不管你听说过什么，你知道，特斯拉撞上了卡车或其他什么，这些东西绝对可以挽救生命，到必须的地步。”
LeCun还表示，“我发现人工智能非常有前途的一件事是，目前人工智能在科学和医学上的应用”，以改善人们的生活。
LeCun说：“有很多实验系统，其中几百个已经获得了FDA的批准，它们提高了核磁共振成像、x光和其他各种疾病诊断的可靠性，这将对健康产生巨大影响。”
他说，这些突破虽然是积极的，但与“大事情”相比，也就是“人工智能在科学领域的应用方式”，还是很小的。
LeCun说：“我们有可以折叠蛋白质的系统，我们现在有能够设计蛋白质粘附在特定位置的系统，这意味着我们可以以一种与过去完全不同的方式设计药物。”
LeCun说，人工智能“在材料科学方面也有巨大的进步潜力”。“我们需要这样做，因为我们需要解决气候变化问题，所以我们需要能够拥有高容量的电池，而且不需要使用我们只能在一个地方找到的奇异材料。”
LeCun举了一个这样的材料项目Open Catalyst，该项目由FAIR的同事创立，与卡内基梅隆大学合作，应用人工智能开发“用于可再生能源储存的新型催化剂，以帮助应对气候变化”。
LeCun解释说：“我们的想法是，如果我们可以用光伏电池板覆盖一小块沙漠，然后储存这些电池板所使用的能量，例如，以氢气或甲烷的形式。”他说，目前储存氢或甲烷产品的方法“要么是可扩展的，要么是高效的，但不能兼而有之。”
“也许在人工智能的帮助下，我们能否发现一种新的催化剂，使这一过程更加高效或可扩展，而不需要一些奇异的新材料?这可能行不通，但值得一试。”
尽管有许多有前途的商业和应用应用，LeCun认为，工业用途的狭隘达不到人工智能的更大目标，即追求动物或人类水平的智能。
LeCun说，在深度学习时代，由于数据和计算的空前可用性，今天的应用程序(如Transformer)背后的巨大研究进展成为可能，而基础科学的进步并不总是如此丰富。
“导致最近这波浪潮的原因，首先是一些概念上的进步——但坦率地说，数量不是很大，也不是那么令人印象深刻——但实际上，可用的数据量和计算量使得扩大这些系统成为可能。”
诸如大型语言模型(如ChatGPT所基于的计算机程序GPT-3)之类的东西证明，扩展人工智能，即添加更多层可调参数，可以直接提高程序的性能。“事实证明，当你把它们放大时，它们工作得非常好，”他谈到GPT-3及其同类产品时说。
LeCun表示，该行业在某个时候可能会发现，如果只依赖规模扩张，而不探索其他途径，收益会逐渐减少。
他说：“尤其是OpenAI等很多公司，都把这当成了一句咒语，只要把东西做得更大，它就会更好地工作。但我认为我们现在已经达到了极限。”
LeCun表示，尽管模型越来越大，“我们似乎无法通过在更多数据上训练更大的神经网络来训练一个完全自主的自动驾驶(汽车)系统，这似乎还没有达到目的。”
LeCun称ChatGPT这样的程序“没有特别的创新”，“没有革命性”，尽管它们令人印象深刻，但它们没有规划能力，他说。
“它们完全是反应性的，”LeCun说。“你给他们一个几千字的上下文，”意思是，人性化的提示，“然后，系统就会完全被动地生成下一个标记。”
LeCun说：“没有提前计划，也没有把复杂的任务分解成更简单的任务，这只是反应。”
LeCun举了OpenAI程序Co-Pilot的例子，该程序已被微软集成到GitHub代码管理平台中。“这种系统有非常可怕的局限性，”他说。“基本上，它们被用作一种增强了预测能力的键盘。”
他解释说：“你开始编写程序，并在评论中对它应该做什么做一些描述，然后你有了基于大型语言模型的工具来完成程序。”
这种自动完成就像汽车的巡航控制系统，有助于在高速公路上行驶。“你的手需要一直放在方向盘上”，因为Co-Pilot可以在没有意识到错误的情况下在代码中生成错误。
LeCun说：“问题是，我们如何从生成代码的系统中获取信息，这些代码有时运行，有时不运行。”“这个问题的答案是，今天所有这些系统都无法进行规划;它们完全是反应性的。”
“这不是智慧行为所需要的。”
相反，LeCun说，“如果你想要智能行为，你需要一个能够预测自身行为影响的系统，”以及“某种内部世界模型，一种关于世界将如何因自身行为而变化的心理模型。”
LeCun在去年夏天概述了一篇关于需要有规划能力的项目的思考文章，他在9月份详细讨论了这一点。
LeCun表示，到目前为止，企业信息技术研发的复苏还没有带来最宝贵的技术成果，即生产力，但这可能会在下一个十年出现。
LeCun引用了斯坦福大学以人为本人工智能小组研究员Erik Brynjolfsson的研究，指出经济学家认为人工智能是一种“通用技术”，也就是说，它“将慢慢传播到经济和行业的各个角落，并通过创造新工作、取代其他工作等各种影响，基本上影响所有经济活动”，“并导致生产力提高，因为它促进了创新。”换句话说，建立在创新基础上的创新在经济上等同于生产力。
“特别是Erik一直在说的是，至少直到最近，我们还没有观察到人工智能带来的生产力提高，从历史上看，他说，大约需要15年，20年才能看到技术革命对生产力的可衡量影响。
“所以，根据他的预测，这可能会在未来十年发生。”
LeCun表示，考虑到对年轻学者的吸引力，信息技术企业基础研发的复苏可能会有一些持久力。
LeCun说：“我认为我们一直观察到的一个现象是，现在有才华的年轻人渴望成为人工智能研究人员，因为这是一件很酷的事情，而在以前，同样的人会去金融行业。我认为，他们最好去研究科学。”
