一种使用序列蒙特卡洛方法(SMC)评估自身表现的人工智能

煤油灯科技2023-06-17 17:23

尽管人工智能系统体量庞大、先进,但今天它们常常无法区分幻觉和现实。自动驾驶系统有时无法感知到眼前的行人和紧急车辆,造成了致命的后果。对话型人工智能系统自信地编造事实,在通过强化学习培训后,往往无法精确评估自己的不确定性。

麻省理工学院(MIT)和加利福尼亚大学伯克利分校的研究人员共同合作,开发了一种新方法,用于构建复杂的人工智能推理算法,同时生成数据的可能解释集,并准确地评估这些解释的质量。

新方法基于一种称为序列蒙特卡洛(SMC)的数学方法。SMC算法是一组成熟的算法,被广泛用于不确定性校准的人工智能中,通过提出可能的数据解释并跟踪在给定更多信息时建议的解释看起来有多么可能或不可能来做出决策。但是,SMC对于复杂的任务来说过于简单。

其中的主要问题是该算法的中心步骤之一——实际提出可能解释的猜测(在跟踪不同假设相对于彼此的可能性之前)——必须非常简单。在复杂的应用领域中,观察数据并提出发生了什么的合理猜测可能是一项具有挑战性的问题。

在自动驾驶中,这需要观看自驾车摄像头的视频数据,识别道路上的汽车和行人,并猜测目前还未被观察到的行人的概率运动路径。从原始数据中做出合理的猜测可能需要精密算法,这是常规SMC无法支持的。

这就是新方法——使用概率编程建议的SMC(SMCP3)的作用。 SMCP3使用更智能的方式猜测数据的可能解释,根据新信息更新所提出的解释,以智能的方式估计这些解释的质量。 SMCP3通过使任何概率程序——任何允许进行随机选择的计算机程序——成为提出(即智能猜测)数据解释的策略来实现这一点。

以前版本的SMC只允许使用非常简单的策略,以至于任何猜测的准确概率都可以计算出来。这种限制使得在多个阶段使用猜测程序变得困难。

研究人员的SMCP3论文显示,通过使用更复杂的建议过程,SMCP3可以提高追踪3D物体和分析数据的人工智能系统的准确性,并提高算法本身估计数据可能性的准确性。麻省理工学院和其他机构的以前的研究表明,这些估计值可以用来推断推理算法相对于理想的贝叶斯推理者如何解释数据的准确性。

论文的共同第一作者George Matheos表示,他最为激动的是SMCP3在复杂问题环境中使用理解透彻、不确定性校准的算法变得可行,而这在早期版本的SMC中是不起作用的。

"今天,我们有很多新的算法,其中许多基于深度神经网络,可以根据数据在各种问题领域提出可能发生的事情。但是,这些算法通常并没有真正的不确定性校准。它们只输出一个可能发生的事情的想法,不清楚这是唯一合理的解释还是是否还有其他解释,甚至是否是一个好的解释!"

"但是,通过SMCP3,我认为将有可能使用更多这些智能但难以信任的算法来构建不确定性校准的算法。随着我们使用'人工智能'系统在越来越多的生活领域做出决策,拥有我们可以信任的、意识到其不确定性的系统将对可靠性和安全性至关重要。"

该论文的高级作者Vikash Mansinghka表示:“最初的电子计算机是为运行蒙特卡罗方法而构建的,而这些方法在计算和人工智能中是一些最常用的技术。但由于从一开始蒙特卡罗方法就难以设计和实现:必须手动推导数学公式,并且用户必须了解许多微妙的数学限制条件。SMCP3同时自动化了难以解决的数学问题,并扩展了设计空间。”

“我们已经使用它来考虑我们以前无法设计的新的人工智能算法。”

 

---煤油灯科技victorlamp.com编译整理---

你可能也喜欢这些文章