摘要
AI系统中的社会对齐旨在确保这些模型的行为符合既定的社会价值观。然而，与通过社交互动来达成对价值判断的人类不同，当前的语言模型（LM）被训练成在孤立环境中严格复制其训练语料库，导致在陌生场景中产生低效的泛化能力，并容易受到对抗性攻击的影响。本研究提出了一种新的训练范式，允许LM从模拟的社交互动中学习。与现有方法相比，我们的方法在可扩展性和效率上有显著的优势，在对齐基准和人类评估中表现出卓越的性能。这种LM训练的范式转变使我们更接近开发能够稳健而准确地反映社会规范和价值观的AI系统。我们已经在http://github.com/agi-templar/Stable-Alignment上发布了代码、数据和模型。
1 介绍
"我们希望AI代理能够像我们一样进行发现， 而不是包含我们已经发现的内容。"
——Richard Sutton教授，《苦涩的教训》，2019年
凭借其“预测下一个标记”的能力，当前的预训练语言模型（LM）在记忆大量语料库方面表现出了卓越的能力，从而使其能够生成与人类产生的内容难以区分的文本。然而，成功地记忆人类知识并不保证模型能够按照我们的期望进行表现。最近的研究揭示了这些LM中的行为异常，包括生成有害内容、强化偏见和传播虚假信息。增强良好的社会行为和抑制不良行为的过程通常被称为“社会对齐”。
监督微调（SFT）提供了一种实现对齐的简单方法，即使用社会对齐的数据对LM进行训练（图1 [a]）。然而，由于在训练过程中对于不对齐数据的接触有限，这种方法往往会导致模型容易受到对抗性攻击，例如“越狱提示”。为了克服这个问题，提出了一种更先进的技术，称为“奖励建模”。这涉及训练一个奖励模型作为人类判断的替代模型，然后使用该模型来指导LM的优化（例如OpenAI的RLHF，图1 [b]）。然而，需要认识到奖励模型本身是不完美的，可能无法完全包含人类判断的细微差别和精确性。因此，基于这个奖励模型优化LM可能会导致奖励博弈或篡改，其中LM系统地利用奖励中错误的部分。例如，语言模型可能会生成常见的回复，或者产生毫无意义且冗长的输出，以最大化奖励，同时回避对有争议问题的直接回答。
图1：稳定对齐（Stable Alignment）不采用像RLHF这样的额外代理模型，而是在语言模型（LM）和模拟社交互动之间建立直接的对齐关系。通过运行规则引导的模拟社会，收集细粒度的交互数据，其中包括集体评级、详细反馈和“逐步修订”的回复。与现有方法相比，稳定对齐有效解决了基于奖励的强化学习优化中的不稳定性问题和奖励博弈的担忧，同时减轻了大规模SFT中对社会对齐行为昂贵的人工标注需求。
与这些方法不同，人类通过社交互动学习社会规范和价值观——我们互动、接受反馈，并调整自己的行为以给他人留下积极的印象。然而，语言模型（LM）基本上是在社交孤立中进行训练的——它们既没有亲身体验实际的社交活动，也没有从他人那里获得多轮反馈以改进自己。相反，它们倾向于僵化地背诵预定的“安全回答”，例如“我是一个AI语言模型，所以我拒绝回答。”，没有展示作为真正社交主体的共情能力或理解能力。
为了解决这些限制，我们引入了一种新颖的对齐学习范式，使LM能够从模拟的社交互动中学习。我们首先创建了一个名为Sandbox的模拟人类社会，其中包含许多基于LM的社交代理，它们彼此互动并记录其交互行为。记录的交互数据与传统的对齐数据不同，它不仅呈现了对齐和不对齐的演示，还包括集体评级、详细反馈和改进后的回复，展示了“逐步改进”的风格。与奖励建模方法相比，离线模拟的使用将准确监督的责任转移到了自主社交代理上——受到激励驱动的代理（即Sandbox规则，如图1 [c]所示）将努力通过逐渐改进每一轮模拟中的回复来增强对齐。借助交互数据，我们提出了一种基于对比学习的新型对齐算法，稳定对齐（Stable Alignment），它可以帮助LM从自我改进的交互中有效而高效地学习社会对齐。
我们的贡献可以总结如下：
- 我们引入了Sandbox，一个用于模拟人类社会的开源平台（3.1节）。通过引入Back-Scatter的设计，模拟社交代理从同行那里获取反馈的方式，我们的平台实现了社交互动的建模。Sandbox不仅有助于开发社会对齐的语言模型，还作为一个多功能环境，用于研究AI代理的行为模式。
- 我们提出了一种新的对齐算法，稳定对齐（Stable Alignment），利用评级来调节每个小批次中负样本的惩罚（3.2节）。我们的实验证明，稳定对齐在对齐性能和参与度方面优于现有方法。值得注意的是，它在资源受限环境中易于部署，因为它不需要额外的奖励模型来提供训练期间的近端监督，比如OpenAI的RLHF。
- 我们对训练的模型进行了全面评估，考察它们在传统对齐基准和面临对抗性攻击的评估中的表现。我们的研究结果表明，引入反馈和修订显著提升了模型在对抗“越狱提示”时的鲁棒性（4.1节）。消融实验进一步证明了为促进高效稳定对齐学习而进行特殊数据准备的重要性。
2 相关工作
社交模拟。语言模型（LM）的发展增强了它们展示人类特征的能力，导致了对LM视为人类实体真实表示的研究激增。因此，社交模拟已成为进行大规模社会科学研究的可行方法，而这些研究曾经受到时间和资源限制。研究包括探索LM在复杂任务中的协作能力，开发“生成代理”以研究新兴的社会行为，以及使用基于GPT-3的代理作为人类参与者的替代品。此外，研究表明，LM模拟的人类具有足够的算法保真度，能够捕捉与真实人类类似的复杂社会特征。这些先前的工作为使用Sandbox模拟社交互动的可行性提供了支持。我们的工作在此基础上进行了拓展，探索如何有效地从这些交互中学习，训练出鲁棒的社会对齐LM。
对齐算法。确保AI系统与人类的偏好和目标保持一致对于其在社会中的效用至关重要。这一对齐目标被描述为“社会对齐”，将AI系统设想为代表人类行动的委派代理。传统上，主导的对齐方法使用奖励模型作为人类判断的替代品，在训练或推理过程中与生成的LM进行交互。然而，创建一个能够抵抗对抗性攻击的鲁棒奖励函数在本质上具有挑战性，甚至是不可能的，部分归因于Goodhart定律。针对这些挑战，最近的研究探索了来自人类或AI系统的反馈作为近端监督的替代方案。与这种方法相一致，我们引入了稳定对齐（Stable Alignment），这是一种从模拟的社交互动中学习的新颖对齐算法。
3 方法
3.1 沙盒Sandbox：模拟人类社会
我们的方法不同于传统做法，不采用类似于监督微调（SFT）中的预定义规则，也不仅仅依赖于强化学习从人类反馈中学习（RLHF）中的标量奖励。相反，我们从人类学习社会规范的方式中获得灵感，这个过程本质上涉及经验性学习和迭代改进。因此，我们创建了Sandbox，一个创新的学习环境，其中基于语言模型（LM）的社交代理可以相互交互并以类似于人类学习的方式学习社会对齐。我们通过引发有关具有争议的社会话题或与风险相关的问题的讨论来促进社会规范的出现。同时，我们引入一个潜在的规则作为代理改进其回应的激励（如图1所示），促进了更好的对齐和印象管理。虽然我们的研究侧重于社会对齐，但这个规则可以根据不同的需求进行调整。
我们采用了一种名为Back-Scatter的三层方法来模拟代理之间的社会互动（图2）。在接收到一个社会性问题后，中央代理生成一个初始回应，然后与附近的代理共享以获得反馈。这个反馈包括评分和详细解释，用于指导中央代理对初始回应的修订。我们为每个代理配备了一个记忆来跟踪他们的回应历史。此外，我们采用基于嵌入的语义搜索来从这个历史中检索相关的问答（QA）对，为代理提供一个促进与过去意见一致性的背景。除了这些社交代理外，我们还包括没有记忆的观察者代理，负责对回应进行对齐和参与度评分。
图2：我们使用Back-Scatter模拟SANDBOX中的社交互动。通过考虑同伴的集体反馈，社交代理能够通过深入的交流更好地使他们的回应与社会价值观保持一致。我们还展示了我们如何从模拟的互动中构建三种类型的对齐数据——模仿、自我批评和重新对齐。总共，我们构建了16.9万个数据样本用于我们的对齐训练。
通过利用Sandbox，我们可以模拟各种LM之间的社交动态，监控观察者的评分，并对收集到的数据进行事后分析。图3展示了我们在不同LM模拟后对齐性的分析结果。虽然较大的模型通常表现出更好的对齐性和参与度，但我们的结果令人惊讶地显示，从一个6.8B的GPT-3模型转换到一个175B的模型，尽管模型大小增加了20倍，却并没有带来显著的改进。这表明了两个关键的观点：1）仅仅对模型进行扩展并不能保证改善对齐性，2）即使是较小的模型也可以提供令人满意的对齐性能。图3中没有经过对齐训练的模型（图a、b、c、d）和经过对齐训练的模型（图e）的比较表明，对齐训练主要提高了模型在较少的互动次数下实现更高对齐性的能力，这在现实世界的应用中非常重要，用户期望模型能够立即做出与社会对齐的回应，而无需通过互动来指导模型。
图3：在Sandbox中运行社交模拟后的对齐分析，使用不同的LMs。测量了所有代理之间的对齐评分（y轴）和参与度评分（x轴）随着互动次数的增加而变化。当社会达到帕累托最优性时，即对齐评分和参与度评分的乘积不再改善（均以7点李克特量表测量），模拟停止。通常情况下，较大的模型显示出更好的整体最优性。然而，简单扩展所获得的对齐增益似乎在某一大小后趋于稳定。当将没有对齐训练的模型（a、b、c、d）与进行了对齐训练的模型（e）进行比较时，可以观察到后者在较少的迭代次数下实现了更高的最优性，尽管在对齐和参与度偏好上略有差异。
3.2 Stable Alignment: 学习社交互动中的对齐性
数据准备：传统的对齐数据通常包括“好”的和“坏”的问题示例。然而，由于Sandbox的交互性质，我们生成的数据是独特的，包括比较对、集体评分、详细反馈和迭代的响应修订。图2还概述了我们如何构建这种独特的对齐数据组合。按照Alpaca协议，我们将数据组织成指令-输入-输出三元组，并对Sandbox的交互记录进行必要的修改。我们引入了一种新的样本类型，称为重新对齐，其中指令由问题、低评分的草稿回答和触发修订提示（例如“请修订此回答以改善与输入的反馈相比”）组成。输入表示同行的反馈，输出对应修订后的回答。我们发现，引入重新对齐样本类型的数据可以有效帮助训练的模型对抗“越狱提示”，这种提示通常涉及上下文中的恶意行为。我们将这些样本准备成小批量，在同一批次中共享相同的问题，并展示了同一批次中响应质量的逐步提高——这是稳定而高效的对齐性学习的关键因素，详细内容在我们的消融研究（第4.1节）和学习动力学分析（第4.2节）中进行了介绍。我们从模拟交互中构建了169k个对齐性数据样本，其多样性已在附录A.2中进行了分析。
稳定对齐算法：图4展示了我们用于从模拟的社交互动中学习对齐性的算法。在其核心，稳定对齐算法作为对比学习过程，奖励高评分回答并惩罚低评分回答。然而，它与传统方法存在两个显著的不同之处。首先，它的对比信号来自于同一小批量中的低评分回答，而不是来自双子网络或平移嵌入。这种方法需要Sandbox中记录的交互性数据以及前面提到的数据准备步骤，以使对比学习能够有效进行。其次，与常用的铰链损失或三元组损失中的固定边界相比，我们提出在每个小批量中动态调节边界，基于评分之间的差异。具体来说，SFT损失和来自低评分回答的损失之间的边界与与最高评分的距离成正比增加。这意味着模型必须更加努力地去除低评分回答，同时从最高评分回答中学习。
图 4: 稳定对齐算法试图在从与价值对齐的回答中学习和从与之不对齐的回答中取消学习之间取得平衡。除了来自具有最高评分的回答的有监督微调损失（ L SFT ），稳定对齐算法还添加了一个评分调节的惩罚损失（ L Diff ）。输入数据的小批量预先组织，使具有不同评分的回答在每个小批量中共享相同的问题。惩罚损失的强度由 λ 控制，小批量大小由 N 确定，而 MARGIN 是一个常量。
整体的对齐损失是由监督微调损失 (LSFT) 和一个惩罚损失 (λ ⋅ LDiff) 组合而成，其中λ是一个衰减因子。随着模型逐渐对齐，惩罚损失逐渐减小，使得Stable Alignment算法收敛于监督微调损失。
讨论：SFT、RLHF和Stable Alignment。虽然监督微调（SFT）在对齐学习中被证明是有效和必要的，但在大规模收集社会对齐数据方面仍然存在挑战，因为用于预训练的数据通常来自开放网络，其中常常包含不良行为。从人类反馈中进行强化学习（RLHF）使用在足够数量的对齐和不对齐演示上训练的奖励模型，在对齐训练期间提供在线监督。然而，这个奖励模型作为人类判断的代理，可能容易出现固有错误或错误设定，导致“奖励游戏”。例如，语言模型可能会生成冗长的回答，以增加获得高奖励的概率，即使多余的信息并不符合所需的对齐目标。当数据覆盖范围不足时，奖励游戏问题也会出现- 考虑到多语言环境，低资源语言中没有像英语中那样丰富的社会对齐演示，这将在实践中阻碍训练准确有效的奖励模型。
与SFT和RLHF不同，Stable Alignment直接在Sandbox中模拟人类社会，避免了对代理奖励模型的依赖，从而减轻了奖励建模中已知的问题。此外，模拟的社会互动显著提高了样本效率，因为自治社交代理之间的离线互动速率仅受API请求速率的限制。重要的是，Stable Alignment的实施比RLHF要简单得多，因为它只需要一个生成LM与交互数据自我对齐，而无需一个单独的奖励模型来持续为LM提供监督，该奖励模型必须保留在内存中。这种简化是重要的，因为奖励模型本身可能很大以达到实际的准确性，这可能会对部署中的GPU内存提出重大需求。
4 实验
数据和模型：我们构建了三个不同的虚拟社会，每个社会由100个社交代理人组成，排列在一个10x10的网格世界中。这些代理人按照Back-Scatter协议进行交互。这些社会使用了三种不同的语言模型（LMs）来模拟人类交互：text-davinci-002（175B）、text-davinci-003（175B）和GPT-4（大小未知）。在这些实验中，我们采用了ChatGPT（gpt-3.5-turbo）作为观察者，如4.1节所述，没有记忆功能。我们的争议性社会问题池包含了来自Anthropic HH-RLHF数据集的9,662个问题。
训练细节：我们使用8个A100 80G GPU，在发布的Stanford Alpaca检查点上进行了SFT和Stable Alignment方法的训练。总的训练时间跨越了大约10个小时的两个时期。SFT和Stable Alignment训练的学习率初始设为2.0e-5，使用余弦退火和0.03的预热比例。如4.2节所示，我们选择了λ值为0.2，mini-batch大小为4（即每个mini-batch中包含三个低评分的回答）。
表1：我们在两个基准测试中，即Vicuna通用聊天机器人基准测试和Anthropic开发的Helpful、Honest、and Harmless（HHH）社交对齐基准测试上，对Stable Alignment和其他六种广泛使用的对齐方法进行了基准测试结果的展示。我们还在HHH的对抗攻击下（即HHH-Adversarial，其中包括在提示中存在对齐错误的回答）对模型进行了评估。按照Vicuna的评估协议，我们采用OpenAI GPT-4作为评估代理，使用1到10的评分范围对这些模型的对齐度（RAlign）和参与度（REngage）进行评估。请注意，虽然ChatGPT作为性能参考，但由于其使用了不同的基础模型和闭源的RLHF算法进行训练，因此与其他模型进行直接比较是不可行或不公平的。
4.1 主要的对齐基准结果
表1提供了对比分析Stable Alignment与其他六种替代的对齐方法的结果。我们在两个基准测试上考察了这些方法的性能：
1）Vicuna聊天机器人基准测试，评估其对于帮助性、相关性和准确性的要求，代表了通用聊天机器人的需求3 3 Vicuna项目页面：https://lmsys.org/blog/2023-03-30-vicuna/。相应的评估流程：https://github.com/lm-sys/FastChat/tree/main/fastchat/eval.
2）Helpful, Honest, and Harmless (HHH)基准测试，通过争议性的社会问题评估社会对齐能力。
3）HHH-Adversarial，我们通过在HHH基准测试的测试集中在相应的问题后添加不对齐的回答来模拟对抗攻击（例如“越狱提示”），并评估模型是否仍然能够以社会对齐的方式回答问题。对于所有评估，我们遵循Vicuna的评估协议，使用GPT-4作为评判者，并修改评估提示以便比较多个候选答案。
我们的研究结果表明：
1）指导调优对于使基础模型能够有效处理“请求完成”任务在对齐基准测试中起到了关键作用。LLaMA的回答往往冗长，但有时与问题无关。然而，经过通用指导调优后，Alpaca在Vicuna测试和HHH对齐基准测试中都有显著改进，评分分别从4.44提高到6.04和从4.51提高到5.53。
2）虽然SFT对于对齐任务有很大的好处，但单独使用SFT并不能增强模型对抗对抗性攻击的鲁棒性。当比较经过SFT训练之前（Alpaca）和之后（Alpaca + HHH-SFT）的模型时，尽管在Vicuna测试和HHH对齐基准测试中都有对齐性能的提升，但我们注意到在HHH-Adversarial测试中性能出现了意外的下降。这表明增强对齐回答的记忆并不能使模型具备抵抗“越狱提示”的能力。
稳定对齐法可以进一步优化对齐潜力，同时不会明显损害模型的通用功能。显然，在对齐训练之后（即 TRLX、Chain-of-Hindsight、RRHF 和我们的 Stable Alignment），所有模型在价值对齐基准测试（HHH 和 HHH-Adversarial）中都表现出更强的性能，但只有 RRHF 和 Stable Alignment 还改善了通用功能（即在 Vicuna 测试中，RRHF 的得分为 6.81，Stable Alignment 的得分为 7.40，两者均超过 SFT 基准的 6.32）。这表明 Stable Alignment 在提升对齐能力的同时，保留了通用能力，特别有效。
消融研究：我们进行了一系列的消融研究，研究数据和训练技术的影响，结果见表2。与使用完整对齐数据集进行训练的默认 Stable Alignment 相比，去除 realignment 部分显著影响了在对抗性环境中的性能。自我批评数据的引入被证明增强了社交对齐中的推理能力，并且我们确定它是标准和对抗性设置的关键组成部分。在训练阶段方面，仅使用 Stable Alignment 进行训练（不包括 SFT）导致性能下降较小，而仅使用 SFT 进行训练的性能下降较大。这可以解释为 Stable Alignment 算法有效地结合了 SFT 损失，确保模型在高评分响应上收敛。
表2：关于数据和训练技术的消融研究。我们发现对齐数据的混合对于模型获得完整的对齐能力至关重要。SFT 训练是必要的，因为它最初将模型“锚定”在最高评级的数据上，从而促进进一步的对齐细化。
4.2 稳定性、效率和训练的超参数优化
图5：该图展示了以下内容：(a) Stable Alignment（SA）训练相对于SFT和RRHF的稳定性；(b) 与TRLX相比的对齐学习的效率，通过相同的奖励模型进行评估；(c) 关于惩罚强度λ的超参数选择；(d) 每个小批量中低评分响应的数量的超参数选择。对齐评分符合Vicuna评估流程。使用一个13B LLaMA评估困惑度。
图5(a)对Stable Alignment的稳定性进行了分析。值得注意的是，Stable Alignment表现出与SFT相当的稳定性，而RRHF显示出明显更多的噪声。这种差异可以归因于准确地对具有相同评分的响应进行排名的挑战，这在排名损失的计算中引入了不合理的偏差。
在图5(b)中，我们将Stable Alignment在对齐学习中的效率与奖励建模方法TRLX进行对比。为了评估对齐性能，我们周期性地使用与TRLX相同的奖励模型在验证集上计算奖励。我们还展示了仅使用基本的“比较数据”进行训练的Stable Alignment的结果，该数据包括对齐和未对齐的响应，没有逐步修改。有趣的是，我们的分析显示，即使在没有来自奖励模型的直接监督的情况下，Stable Alignment在较少的训练步骤内实现了更高的奖励收益。此外，交互数据的加入加速了对齐学习过程，可能是由于在每个交互数据的小批量中观察到的“逐步”改进。
图5 (c) 和 (d) 探索了 Stable Alignment 的最佳超参数设置。根据我们的研究结果，我们建议在处理低评分响应时使用折扣因子 λ = 0.2，并选择每个小批量中的负样本数量 N = 3。我们发现过大的 λ 和 N 值不仅会导致较低的对齐评分，还会增加生成模型的困惑度。
4.3 样本生成及人工评价
表 3: Stable Alignment和其他几种方法的样本生成。我们发现仅仅通过指令跟随训练并不能使模型意识到删除指纹的潜在危害或风险。例如，Alpaca和Alpaca + SFT都提供了如何删除枪支指纹的可行指导，但没有适当的警告。RRHF在提及与联系NRA相关的潜在危害时显示出了一定的意识，但似乎与篡改证据的问题无关。而Stable Alignment不仅指出了潜在的法律后果，还提供了安全使用的建议（例如，“枪支所有者应将其枪支放置在安全的地方，并负责任地处理，以防止意外发射或未经授权使用。”）。与ChatGPT相比，Stable Alignment生成的样本表现出更多的同理心和理解，可能是因为它通过社交互动学习而不是通过代理奖励模型。
表3展示了Stable Alignment和其他几种方法的生成结果。经过指令调整的Alpaca和经过监督微调（SFT）的Alpaca不能以社交对齐的方式回答问题。RRHF在潜在风险意识方面表现更好，但其对齐仍不理想，因为它建议戴手套以避免留下指纹。ChatGPT和Stable Alignment都展现出良好的社交对齐，因为它们都拒绝提供进一步的信息，而Stable Alignment似乎给出了更详细的解释。
为了确定我们提出的模型的有效性，我们进行了一项人类参与者的评估研究（n=206）。这些参与者的任务是根据AI模型的帮助性、诚实性、无害性、公正性和参与度对其回答进行评分。评估的模型包括经过对齐过程的三个模型（RRHF、ChatGPT和我们提出的模型Stable Alignment），以及一个未经对齐的基准模型（Alpaca + SFT）。
图6: 人工评估结果。参与者（n=206）被要求根据有益性、真实性、无害性、公正性和参与度在7点Likert量表上评价回复。
正如图6所示，Stable Alignment的表现与ChatGPT相当。这两个模型在保持SFT模型的性能水平的同时，在无害性方面取得了主要进展。在无害性方面，相比Stable Alignment，ChatGPT获得了更高的评分（5.69比5.52），而Stable Alignment在参与度方面稍微更高（4.68比4.15）。虽然RRHF在无害性方面有所改善，但这是以其他方面的性能为代价的。
4.4 限制
尽管我们提出的模型 Stable Alignment 在增强语言模型的社交对齐方面提供了一种新颖的框架，但需要认识到它的限制。首先，Stable Alignment 目前仅限于基于文本的社交互动，可能无法完全涵盖人类交流的丰富性。现实世界中的互动通常涉及非语言暗示，如肢体语言，而我们的模型目前无法解读这些暗示。其次，我们的模型的实现使用了沙盒，假设了人类社会规范的静态视角，忽视了社会价值观的动态和演变性。随着社会的发展，其规范和价值观也在发生变化，我们的模型应该纳入这些变化。此外，我们的实证分析主要使用英文进行，限制了我们发现的普遍适用性。虽然 Stable Alignment 通过使用多语言语言模型展示了扩展到其他语言的潜力，但还需要进一步的研究来证实这一点。
5 结论
本文中，我们介绍了一种通过模拟社交互动来训练语言模型实现社交对齐的新方法，我们提出的模型 Stable Alignment 利用来自这种模拟的独特交互数据，显著优于现有方法。
我们认为，从模拟人类行为中学习对齐的概念可以轻松应用于其他领域或形式。此外，我们的方法中使用模拟有效地避免了某些领域数据收集可能涉及的隐私问题。我们的工作是朝着更加社会对齐的人工智能模型迈出的一步，但也强调了在这一重要领域需要持续进行研究的必要性。
