
AI 智能体正在互联网上失控运行。它们被赋予完成特定任务的指令,却经常以不理想或意外的方式行动。这些失控事件涵盖从删除整个电子邮件收件箱,到入侵网站,甚至发动网络攻击。
东北大学助理教授 Weiyan Shi 认为,AI 智能体需要监督,就像人类员工需要管理者一样。她说:“它们可能长时间运行。但运行时间越长,越可能产生错误,并可能做出危险、不安全的动作。我们认为应当存在一个中间层。”
这个中间层由元智能体构成。元智能体监督行为、提供质量控制,并在适当时将问题沿指挥链上报给人类。Shi 说:“工作智能体像四处游荡的羊,元智能体则像试图把它们带回正轨的牧羊人。”
因此,Shi 与东北大学和斯坦福大学的同事将框架命名为 Shepherd,意为面向智能体羊群的智能引导者。为赋予元智能体权限,团队借用了软件开发中的概念:版本控制。配套论文将在 2026 年 12 月举行的 NeurIPS 会议上发表。
面向 AI 智能体的版本控制
版本控制系统(例如流行的 GitHub)随时间跟踪和管理源代码变更。这些工具让软件工程师可以在同一代码库上协作而不丢失工作。工程师可以分叉(fork)或创建独立开发的代码库副本,通过提交(commit)保存包含变更的新版本,审查修订,并在发生错误或故障时回滚到先前版本。
类似地,Shepherd 充当 AI 智能体的版本控制系统。它使用 Python 编写,并基于函数式编程原则。每个智能体动作,连同 AI 智能体的状态及其相关环境(例如电子邮件收件箱、文件系统等),都存储为一次提交;提交图由一系列动作组成。元智能体遍历该图以导航到任意提交,从而观察工作智能体、拦截有缺陷的动作、将工作智能体回退到上一阶段,并分叉以尝试另一方向。
斯坦福大学自然语言处理组研究员、Shepherd 团队成员 Derek Chong 说:“这里有一个微妙之处:在工作智能体看来,它们仿佛处于常规世界中,可以执行发送电子邮件等操作。但实际上,发送电子邮件的动作已被 Shepherd 沙箱捕获,因此元智能体或人类可以介入,决定是否真正发送。”他补充说,这种沙箱机制起到护栏或治理组件的作用。
Shi 说:“如果存在一个中间层来帮助治理这些工作智能体,那么人类就能获得更好的控制。人类最终仍拥有发言权,可以干预元智能体,也可以帮助引导这些元智能体。”
为证明 Shepherd 的可行性,团队构建了三个用例。一个用例使用监督元智能体,在并行编程智能体之间发生冲突时进行干预,帮助提升它们在特定基准测试上的结对编程通过率。另一个用例开发优化元智能体,对工作智能体已完成的工作流提出针对性编辑,并通过仅重放受编辑影响的运行部分来测试这些编辑,从而提升性能。最后,一个训练元智能体在强化学习期间选择分叉点或步骤,使工作智能体走上更优路径,并在过程中给予奖励。
Shepherd 已作为开源项目提供,但 Chong 指出,团队仍在将其从 alpha 阶段推进到完整生产可用状态。Shepherd 框架属于由 Chong 和 Shi 共同创立的更广泛的 Agent Sciences Research Initiative(ASRI)。该合作汇集东北大学、斯坦福大学和加州大学伯克利分校的研究人员,旨在探索如何让 AI 智能体更可靠、更鲁棒,如何更好地评估它们,以及如何确保它们更安全。
Chong 说:“越来越清楚的是,智能体管理非常重要。智能体应当能够检查其他智能体并对其进行操作,就像现实生活中的管理一样。我们认为 Shepherd 是朝这一方向构建、并使智能体管理普及化的途径。如果能够实现这种普及化,人类就能有能力构建支持人类繁荣的 AI 系统。”









