摘要
我们研究多个大型语言模型(LLMs)是否能通过扮演、反思和批评来自主地在协商游戏中相互改进。我们对这个问题感兴趣,因为如果LLMs能够相互改进,就意味着可以在最小化人类干预的情况下创建强大的人工智能代理。我们让两个LLMs扮演买家和卖家的角色进行协商,他们的目标是与买家以较低的价格和卖家以较高的价格达成交易。第三个语言模型扮演评论家的角色,为一名参与者提供反馈,以改进其协商策略。我们让这两个代理进行多轮博弈,使用先前的协商历史和人工智能反馈作为上下文演示,迭代地改进模型的协商策略。我们为不同的角色使用不同的LLMs(GPT和Claude),并将成交价格作为评估指标。我们的实验揭示了多个有趣的发现:
(1)我们考虑的语言模型中只有一部分能够通过人工智能反馈进行自我对弈并改进交易价格,较弱的模型要么不理解游戏规则,要么无法利用人工智能反馈进行进一步改进。
(2)模型从反馈中学习的能力在扮演不同角色时有所不同。例如,对于Claude-instant来说,作为买家改进比作为卖家更困难。
(3)当将游戏延展到多轮时,较强的代理可以通过有意义地利用先前的经验和迭代的人工智能反馈来持续改进其性能,但也更容易破坏交易。我们希望我们的工作能够提供关于使用游戏对戏和人工智能反馈来实现模型自主改进的有深意的初步探索。
1 介绍

图1:我们协商游戏的设置。A. 我们让两个LLM代理扮演卖家和买家进行讨价还价游戏。他们的目标是以较高/较低的价格出售/购买产品。一轮结束后,我们请第三个LLM作为AI评论家向我们希望改进的参与者提供反馈。然后,我们要求参与者根据反馈改进他们的协商策略。我们重复这个过程多轮,并研究模型是否能够持续改进。请参考图2以了解一个示例运行。B. 我们从AI评论家观察到的讨价还价技巧,以及参与者如何将这些技巧融入到协商策略中。C. 在我们的游戏中需要的能力(C2 - 协商、C3 - AI反馈和C4 - 持续改进)将模型分类为不同层次。我们发现只有强大而良好协调的模型(如gpt-4和claude-v1.3)能够通过迭代的AI反馈持续改进(请参考图3,其中展示了不具备这些能力的示例模型)。
我们选择讨价还价游戏是因为它有明确定义的规则,在文本中有清晰可测的目标(更低/更高的交易价格),适用于战略性协商。尽管这个游戏乍一看似乎很简单,但它要求语言模型具备非平凡的能力,因为模型需要:(1)清楚地理解和严格遵守协商游戏的文本规则;(2)根据评论家语言模型提供的文本反馈进行迭代改进(参见图1B中的示例反馈);(3)在长期内反思策略和反馈,并在多轮中进行改进。我们将看到,并非我们考虑的所有模型都展示了所有这些能力(图1C),只有能够(1)理解协商规则和策略(能力)以及(2)对AI指示做出响应(良好协调)的模型才能在多轮中持续改进(在我们的实验中,只有gpt-3.5-turbo、gpt-4和claude-v1.3满足这些要求)。我们在初步实验中还尝试了更复杂的文本游戏,包括棋盘游戏和文字角色扮演游戏,但对于当前的代理来说,它们更具挑战性,难以理解和遵守规则。
我们将我们的方法称为基于AI反馈的上下文学习(ICL-AIF)。具体而言,我们使用来自AI评论家的反馈以及先前对话历史的上下文演示(Brown等,2020)。通过这样做,评论家在先前回合中对改进的建议以及参与者在实际中的改进有效地成为下一轮协商的少样本提示。我们之所以使用上下文学习,有两个原因:(1)使用强化学习来调整大型语言模型的成本过高(Ouyang等,2022;Glaese等,2022),而且基础模型(OpenAI,2023)可能无法广泛地被社区所使用;(2)最近的研究表明,上下文学习与梯度下降密切相关(Dai等,2022;Akyürek等,2022;von Oswald等,2022),因此我们得出的结论在实际微调模型时(如果资源允许)很有可能推广。我们的ICL-AIF与主流的人类反馈强化学习(RLHF)的一个显著区别在于,在强化学习中,奖励是一个标量(Ouyang等,2022;Glaese等,2022),而在ICL中,反馈是自然语言。我们研究AI反馈(而不是依赖每轮后的人类干预),因为它更具可扩展性,可以让模型自动进行自我改进。
我们的实验得出了一些有趣的发现:(1)我们的讨价还价游戏要求有效地成为评估LLM能力的测试平台(图1C):虽然大多数模型可以在随意的情境中进行闲聊,但截至我们实验的日期(2023年5月),cohere-command模型(Cohere,2023)不理解讨价还价的规则(图3A),ai21-jurassic模型(Labs,2023)不对AI反馈做出响应(图3B),claude-instant-v1.0最多只能改进一轮(图5),只有gpt-3.5-turbo、gpt-4和claude-v1.3能够在多轮中持续改进。 (2)当扮演不同角色时,模型在接收到反馈时的行为不同。扮演买家角色的模型可能比扮演卖家角色时更难改进(图4)。 (3)强大的代理(如gpt-4)确实有可能通过利用先前的经验和在线迭代的AI反馈持续有意义地改进,但以更高的价格出售(或以更低的价格购买)也会带来完全无法达成交易的风险(图6)。我们进一步展示了模型能够以更简洁但更有策略性(因此更有效)的方式进行协商(图7)。总体而言,我们希望我们的工作成为利用AI反馈在游戏设置中改进语言模型协商能力的有意义的初始尝试。
2 问题设置
我们的目标是研究LLM是否可以通过玩讨价还价游戏并结合AI反馈来改进彼此,如图1A所示。我们将被讨价还价的产品设定为气球(当将气球更换为其他物品时,我们的结果仍然成立)。我们使用不同的后端LLM引擎组合:cohere-command(Cohere,2023)、AI21的jurassic-2(Labs,2023)、OpenAI的gpt-3.5-turbo和gpt-4(OpenAI,2023)、Anthropic的claude-instant-v1.0(据说与gpt-3.5-turbo相匹配(Fu等人,2023))和claude-v1.3(据说略差但接近gpt-4(Fu等人,2023))。在我们的实验中,我们仅提供反馈以改进两个玩家中的一个,而其对手则不接收反馈,清除以前轮次的讨价还价历史记录,并重新开始。我们在被改进的模型中变化引擎,同时将其对手的引擎固定为gpt-3.5-turbo。从本质上讲,我们的游戏是gpt-3.5-turbo与其他所有引擎对战。我们始终将评论家背后的LM引擎设置为提供反馈的玩家的引擎。一个示例设置是gpt-4作为卖家对战gpt-3.5-turbo作为买家,带有gpt-4评论家。一轮结束后,gpt-4评论家提供反馈给gpt-4卖家,使卖家能够在下一轮中改进,而其对手gpt-3.5-turbo买家则清除对话历史记录并重新开始。
游戏过程
在游戏开始之前,通过文本说明向模型解释了讨价还价游戏的规则,目标是以更高/更低的价格出售/购买。为了便于评估,我们将交易价格设置为[10美元~20美元],因为根据我们的初步实验观察,其他交易价格可能在很大范围内变化。为了实现这一点,我们硬编码卖家以“这是一个好气球,价格为20美元”开始讨价还价。类似地,买家始终以“你考虑以10美元出售吗?”开始。当两个玩家严格遵循游戏规则时,交易价格将介于10美元和20美元之间。我们让模型进行多次运行,并在AI反馈之前和之后测量平均交易价格。在游戏过程中,卖家的输出用于提示买家,反之亦然,条件是基于整个对话历史记录。这个过程重复进行,直到达到终止状态。图2A展示了一个示例回合。我们定义了三个游戏状态:(1) 进行中:两个玩家之间的讨价还价仍在进行中;(2) 成交:讨价还价已经结束,两个玩家达成了协议;(3) 未达成协议:玩家们无法就价格达成一致,未能达成协议。为了跟踪游戏状态,我们设置了一个额外的调停者(由第四个LLM提供支持,我们的情况下是gpt-3.5-turbo),读取当前对话并对状态进行分类(我们将在后面更详细地讨论调停者)。我们根据最终的交易价格来衡量玩家的表现。

图2:一个玩讨价还价游戏并通过AI反馈进行改进的示例。A:claude-instant-v1.0扮演卖家角色,gpt-3.5-turbo扮演买家角色,就一个气球进行讨价还价。B:然后我们使用claude-instant-v1.0作为评论家提供反馈。C:收到反馈后,卖家根据建议改进其策略。请注意,像“高质量的乳胶,由专家工匠手工制作”这样的彩色短语对应于先前的AI反馈“它是多么罕见和特别”。我们以最终价格作为策略有效性的代理,因为整体目标是获得更好的价格。在这种情况下,价格从16美元提高到17美元。
评论家
每当讨价还价达到终止状态(成交或未达成协议),一轮游戏就结束。每轮结束后,要求评论家LM向我们希望改进的玩家提供建设性反馈。该玩家过去所有轮次的对话历史记录以及接收到的所有反馈被用作提示评论家LM(图2B)。指示评论家模型提供三条建议,以改进其讨价还价策略,以在下一场游戏中获得更有利的价格。在下一轮之前,正在改进的玩家以文本提示的形式接收评论家的反馈,而其对手则清除其讨价还价历史记录并重新开始。
调停者
通过使用少量示例提示gpt-3.5-turbo调停者来对游戏状态进行分类。调停者阅读最近的四轮对话(以及不同对话状态的上下文示例),并确定讨价还价的状态。根据经验,我们发现进行四轮对话足以让调停者确定讨价还价的状态。在这里,一个关键挑战是检测未达成协议,因为模型似乎更擅长识别成交而不是未达成协议。我们通过进行多次运行,手动检查失败案例,并将其添加到提示中并进行修正标签,来缓解这个问题。我们发现这种方法是一个有效的附带产物,并推荐将其作为通用分类任务的提示优化技术。
进行多轮游戏
最后,我们希望探索玩家是否能够在多轮游戏中持续从AI反馈中改进。直观地说,玩家进行的轮次越多,保持改进的挑战就越大,因为前一轮的(已经改进的)价格成为下一轮的基准。在实验中,我们将展示只有gpt-4在5轮游戏中才能够改进,而其他模型的改进可能在大约3轮时达到饱和状态。
3 相关工作
游戏对弈和AlphaGo Zero
我们的设置受到AlphaGo Zero(Silver等,2017)的强烈启发,其中两个代理人玩围棋游戏,并在几乎没有人类干预的情况下相互改进。在这里,我们希望探索自然语言中的类似情况。我们的工作类似于AlphaGo Zero,因为我们也有AI代理(大型语言模型)进行竞争性游戏(谈判),并试图在很少的人类监督下改进。然而,我们的工作与AlphaGo Zero存在一个重要的区别:我们有第三个代理人,即评论家,为其玩家提供反馈以帮助改进。这是一种合作关系,在AlphaGo Zero中并不存在。在自然语言处理方面,最相关的工作是Lewis等人(2017),他们使用(小型)RNN(Chung等,2014)语言模型进行谈判,而我们的工作可以看作是他们的更发展版本,因为我们将引擎更换为大型语言模型。总的来说,我们的工作广泛涉及AI谈判(Chawla等,2021,2021)、战略推理((FAIR)†等,2022)和通用游戏对弈(Silver等,2016)领域。
大型语言模型作为生成代理
大型语言模型已经展示出令人难以置信的多维能力(Wei等,2022a;OpenAI,2023),特别是在复杂推理(Wei等,2022b;Qiao等,2022;Fu等,2022)和多轮对话(Glaese等,2022;Askell等,2021;Bai等,2022)方面,这为本工作奠定了基础。我们的工作与Generative Agents(Park等,2023)和CAMEL(Li等,2023)等同时进行的研究相关,因为它们也研究了大型语言模型在多代理游戏环境中的行为。我们工作的核心区别在于,我们有一个明确的目标(成交价格),通过竞争和合作来改进模型,而他们的工作则研究了大型语言模型的通用社交行为。
从AI反馈中学习
我们的方法也受到Constitutional AI(Bai等,2022)的强烈启发,因为我们都使用了AI反馈,但不同之处在于我们的反馈是直接的自然语言(而不是来自奖励模型的标量)。也有相关/同时进行的研究表明自然语言反馈的有效性(Scheurer等,2022;Perez等,2022;Liu等,2023)和自我改进(Chen等,2023;Madaan等,2023)。我们的工作进一步证实了AI反馈在战略谈判游戏环境中的有效性。
4 实验
在我们的实验中,我们考虑了三个阶段,逐步深入探索从AI反馈中学习的过程:(1)我们首先建立了游戏的基本规则(第4.2节),展示了只有少数模型可以从AI评论中改进,在这种情况下,AI反馈可以与人类反馈相媲美(但更可扩展)。其他模型要么不理解/遵循谈判的规则,要么无法利用AI反馈进行改进。(2)然后我们研究了模型在扮演不同角色时的行为(第4.3节)。我们发现一个有趣的结果,即买方通常比卖方更难以改进。(3)最后,我们研究模型是否能在多轮中持续改进(第4.4节),并展示了成交价格与成功率之间的权衡:尽管一些模型可以持续提高成交价格,但这也会增加破裂交易的风险。我们进一步展示了更具战略性的谈判证据:经过多轮的AI反馈,gpt-4和claude-v1.3的回应变得更长(请注意,啰嗦是一种直接的谈判策略),然而,gpt-4比claude-v1.3更简洁,但实现了更高的成交价格和成交率,这意味着它的回应虽然使用较少的词语,但更具战略性和有效性。
4.1 实验设置
模型引擎
进入我们的游戏的模型的最低要求是它们必须是聊天机器人。我们考虑的所有模型(cohere-command、AI21的jurassic-2、OpenAI的gpt和Anthropic的claude)都可以通过API调用进行访问。其中,gpt-4是最昂贵的一个,运行500轮谈判的成本约为120美元,而gpt-3.5-turbo的成本约为10美元。其他模型正在进行Beta测试(截至2023年5月)并且不收费。参考基准(如chain-of-thought hub和HeLM)的排名大致如下:gpt-4和claude-v1.3大致相似,优于gpt-3.5-turbo和claude-instant-v1.0,也优于cohere-command和j2-jumbo-instruct。在未来,我们将考虑更多的模型,例如Google的PaLM-2。
我们让所有模型与gpt-3.5-turbo竞争,有效地将其作为其他模型的基准。我们将展示,与其他同时进行的模型排名(Fu等,2023;Liang等,2022)一致,gpt-3.5-turbo是一个中等强大的引擎(比gpt-4差,比claude-instant-v1.0好)。对于给定的模型引擎(比如claude-v1.3),我们将其作为卖方(买方是gpt-3.5-turbo),然后再作为买方(卖方是gpt-3.5-turbo)。我们首先让模型进行一轮游戏,并手动检查它们是否理解谈判规则。如果他们理解,我们让他们进行两轮游戏,看看他们是否能够对AI反馈做出回应。对于评论模型,我们将其引擎设置为与其玩家相同。我们重复游戏500次,计算AI反馈前后的平均成交价格。如果他们在一轮中改进了,我们让他们进行多轮游戏,看看他们是否能够持续改进策略。我们重复游戏200次,每轮最多进行5轮,计算每轮的平均成交价格。在解码模型引擎时,我们使用默认温度进行采样(gpt和claude为1.0,cohere为0.75,j2为0.7)。
提示工程
在这项工作中,我们只需要针对调解员手动优化提示,因为玩家可能用非常多样化的表达方式达成/打破交易,我们希望确保调解员能够正确识别它们。如上所述,我们会识别调解员在识别交易方面的错误,并将其作为上下文示例添加,直到模型达到足够高的准确性(通过手动检查大约达到90%以上)。对于玩家和评论家,我们不进行提示工程,保持所有引擎的指令相同(但格式可能不同,例如claude在“HUMAN:”之前需要两个换行符,j2在每一轮对话后需要两个“##”)。代码和提示将在发表时公开发布。
4.2 基础实验
在本节中,我们首先研究模型参与我们游戏的最低要求,即(1)理解谈判规则和(2)响应AI反馈。然后我们进行AI和人类反馈之间的基本比较,展示了AI反馈可以与人类反馈相媲美,但更具可扩展性。
对话能力并不保证谈判能力或从反馈中学习 我们通过手动检查对话的记录来研究对话模型是否能理解谈判规则,并发现cohere-command模型无法理解规则,如图3A所示。我们观察到它没有意识到哪个价格是更好的交易。例如,当充当卖家时,它拒绝了10美元的提议,但接受了8美元。我们还观察到,虽然AI21的j2-jumbo-instruct模型理解了谈判规则,但无法融入AI反馈,如图3B所示。通常情况下,当给予AI反馈时,模型保持与之前相同的策略,没有任何改进。

Figure 3: 并非所有模型都能进行谈判。A. 截至2023年5月,cohere模型不理解谈判规则,并同意不合理的价格。B. AI21 Jurassic-2模型,虽然理解谈判规则,但没有将评论家的反馈纳入考虑。由于这些模型一直在不断更新中,我们在图中包含了时间戳,并注意到未来版本可能会有改进的表现。
排除了cohere-command和j2-jumbo-instruct模型之后,我们考虑剩下的三个模型:gpt-3.5-turbo、claude-instant-v1.0和claude-v1.3。对于这三个引擎,我们没有观察到图3中的问题。这意味着这些模型可以用于我们的多轮游戏。
AI反馈可以与人类反馈相媲美 现在我们进行一些初步的AI和人类反馈之间的比较。我们强调我们的目标不是要显示哪一个更好,达到类似的效果就足够我们的研究(看LLMs是否能通过自我对弈和AI反馈持续改进)。对于人类反馈,我们手动编写了一个包含10个建议的池子。然后我们进行了500轮游戏,计算反馈前后的成交价格。在进行了500轮之后,我们比较了以下两种情况的改进效果:(1)从预定义的池子中随机抽取3个建议,(2)让AI评论家写下3个建议。我们注意到这可能低估了人类反馈的性能,但要求人类为所有1500轮写下3个建议是不切实际的(而AI反馈没有这个问题)。结果显示在表1中,我们看到所有三个模型(gpt-3.5-turbo、claude-instant-v1.0和claude-v1.3)在人类和AI反馈上表现出可比较的改进效果。
4.3 不同LLM后端的行为表现
到目前为止,我们已经确定了我们的游戏设置对于更强大的LLM引擎是有效的。现在我们考虑使用不同引擎在不同角色下的详细行为比较。具体而言,我们使用claude-instant-v1.0、claude-v1.3、gpt-3.5-turbo和gpt-4作为卖家/买家(分别对抗gpt-3.5-turbo的买家/卖家),然后研究AI反馈前后的成交价格分布(也要注意AI评论家与其所属引擎相同)。结果在图4中进行了可视化呈现。当claude-instant-v1.0和gpt-3.5-turbo扮演卖家角色时,它们能够在AI反馈后提高平均成交价格(图4A)。但当它们扮演买家角色时,它们的平均成交价格没有提高,这表明买家角色往往比卖家更难扮演(图4B)。然而,对于像gpt-4和claude-v1.3这样的引擎,这种观察结果并不适用,因为它们即使扮演买家角色仍然可以从AI反馈中改进。总体而言,这组实验揭示了我们考虑的四个引擎之间微妙的能力差异。

图4: 将500次游戏的交易价格按区间进行分组,展示了反馈前后的频率分布。有效的反馈应该将分布朝着较低/较高价格范围移动。X轴:交易价格的区间从$10(买方的初始价格)到$20(卖方的要价)。Y轴:价格的频率。A和B:对于像claude-instant-v1.0和gpt-3.5-turbo这样较弱的代理,作为卖方从AI反馈中获得改进比作为买方更容易。对于卖方来说,AI反馈将交易分布向较高范围移动(向右),但对买方的交易分布的影响不大。因此,作为买方时平均交易价格的变化(-0.2和-0.5)明显小于作为卖方时的变化(+1.0和+1.7)。C. 较强的代理(claude-v1.3/ gpt-4)即使作为买方仍然可以从AI反馈中获得改进,平均交易价格的变化更大(-1.2和-3.0)。
4.4 向通过迭代AI反馈实现持续改进迈进
现在我们将游戏展开到多轮,并观察模型是否能从先前的对话历史和迭代的AI反馈中持续改进。具体而言,我们让gpt-3.5-turbo、gpt-4、claude-instant-v1.0和claude-v1.3分别扮演卖家/买家角色对抗由gpt-3.5-turbo提供支持的对手。如前所述,评论家与其所帮助的玩家共享相同的引擎。我们进行了200轮游戏,并将每个游戏展开为5轮。我们计算最终的成交价格和成交成功率,并观察价格是否能够持续改进。

图5:在多轮设置中,不同的引擎在扮演卖家/买家时表现出不同的行为。线图表示200次运行的平均价格,柱状图表示价格分布。A1对比B1:当扮演卖家时,gpt-3.5-turbo可以在多轮中通过AI反馈改进,而claude-instant-v1.0只在第一轮中改进。A2对比B2:当扮演买家时,gpt-3.5-turbo可以在多轮中改进,而claude-instant-v1.0则无法改进。
图5显示了gpt-3.5-turbo和claude-instant-v1.0扮演不同角色的情况。对于给定的引擎,一轮的改进不一定能够推广到多轮,我们观察到gpt-3.5-turbo可以在多轮中改进,但claude-instant-v1.0只能在最多一轮中改进。
现在我们考虑在追求更高成交价格的倾向与破坏交易风险之间的权衡,如图6所示。我们看到,当扮演卖家时,所有四个模型引擎都可以在至少一轮中改进,但这是以降低交易成功率为代价的。当扮演买家时,有些模型无法改进(claude-instant-v1.0),或在3轮后饱和(claude-v1.3),而gpt-4和gpt-3.5-turbo可以持续改进,而且gpt-4的成交价格更好(更低),成交率也更高。

图6:GPT和Claude模型在多轮游戏中的表现及其达成交易的成功率。A1和A2:当扮演卖家时,大多数模型可以在多轮中取得改进。然而,较高的价格也意味着卖家可能更有可能取消交易,正如A2中连续下降的曲线所示。B1和B2:当扮演买家时,claude-instant-v1.0无法在多轮中改进,而其他模型可以。同样,更好的购买价格也意味着更高的取消交易的可能性。我们可以看到GPT-4在这里达到了最佳的平衡:它在多轮中获得了最好的价格,并具有更高的交易成功率。
最后,我们研究迭代AI反馈如何影响代理的语言复杂性,通过绘制每轮后的平均回应长度(以字符数衡量),如图7所示。我们看到,claude-v1.3和gpt-4在迭代AI反馈后变得更冗长,回应长度不断增加。这是合理的,因为冗长是谈判中一种直接的策略。然而,对于claude-v1.3,冗长并不意味着更好的谈判策略,因为它的改进在三轮后饱和(图6B1)。相比之下,gpt-4的增加冗长更具策略性,因为它使用的词汇较少,但实现了更好的成交价格和成交成功率(图6B)。这一观察结果是AI反馈将玩家的回应引导向以词汇为导向的战略方向的强有力证据。

图 7: 模型从多轮对话中学习后,平均回应长度增加。这里我们展示了在询问卖家初始问题“你是否考虑以10美元出售?”后,卖家的回应示例。经过多轮的谈判,卖家的回应变得更加冗长和词汇调整。然而,冗长并不意味着更好的策略:claude-v1.3的冗长程度(曲线更高)高于gpt-4,但它的成功率和交易价格更差(参见图6)。这表明gpt-4的冗长程度更具策略性。
5 结论
在这项工作中,我们研究了多个大型语言模型是否能够通过角色扮演和从AI反馈中学习来自主地改进彼此在谈判游戏中的表现。我们的实验表明,确实有某些模型能够通过不断进行竞争游戏和迭代的AI反馈来改进,遵循AlphaGo Zero的方式,并在明确定义的规则下进行。我们还展示了在下一轮价格改善和成功率之间的权衡,因为更好的成交价格也伴随着更高的交易破裂风险。这表明未来的研究可能要考虑全局优化,以提高多轮交易的整体收益。我们还从迭代的AI反馈中展示了语言的改进证据:在多轮游戏中,一个模型可能比另一个模型更简洁,但在选择词汇方面更好,因此在获得更好的交易方面更有效。
我们认为我们的研究对于AI研究具有深远的影响:从积极的方面来看,它表明了在最少人工干预的情况下持续改进语言模型的可能性。然而,从风险的角度来看,在我们的框架中监督模型的行为可能更具挑战性,因为模型是自主行动的,这需要未来在多Agent游戏环境中进行对齐和安全研究。总体而言,我们认为我们的工作为大型语言模型通过游戏和迭代的AI反馈进行学习提供了有意义的初步探索。