莱斯大学的研究发现表明，重复合成数据训练可能导致“模型自噬障碍”，从而降低生成式人工智能模型的质量。持续依赖合成数据而没有新的输入，可能会使未来的人工智能模型陷入低效和多样性减少的困境。
生成式人工智能（AI）模型，如OpenAI的GPT-4o或Stability AI的Stable Diffusion，在创建新的文本、代码、图像和视频方面表现出色。然而，训练这些模型需要海量的数据，开发人员已经在努力应对供应限制，并可能很快就会耗尽所有训练资源。
由于数据稀缺，出于多种原因，使用合成数据来训练下一代人工智能模型对大型科技公司来说可能是一个极具吸引力的选择。人工智能合成数据比现实世界中的数据便宜，并且供应几乎无限，它带来的隐私风险较小（如在医疗数据方面），在某些情况下，合成数据甚至可能提高人工智能的性能。
然而，莱斯大学数字信号处理小组最近的研究发现，合成数据的饮食可能会对生成式人工智能模型未来的迭代产生显著的负面影响。
自噬训练的风险
“当这种合成数据训练不可避免地重复，形成一种我们称之为自噬或‘自耗’的反馈循环时，问题就出现了，”莱斯大学的C. Sidney Burrus电气与计算机工程教授理查德·巴拉纽克（Richard Baraniuk）说。“我们的小组对这种反馈循环进行了广泛的研究，坏消息是，即使经过几代这样的训练，新模型也可能会受到无法挽回的破坏。这被一些人称为‘模型崩溃’——最近该领域的同事在大语言模型（LLMs）的背景下提出了这个观点。然而，我们发现‘模型自噬紊乱’（MAD）这一术语更为贴切，因为它与疯牛病有相似之处。”
疯牛病是一种致命的神经退行性疾病，会影响奶牛，且因食用受感染的肉类而导致人体出现相应的疾病。20世纪80-90年代的一次大爆发让人们注意到，疯牛病的蔓延是由于用屠宰后同伴的加工残余物喂养奶牛所导致的——因此有了“自噬”这个词，来自希腊语的auto-，意为“自我”，和phagy——“吃”。
巴拉纽克说：“我们在5月于国际学习表征会议（ICLR）上提交的论文中阐述了我们对‘MAD’的研究成果。”
这项名为“自我消耗生成模型陷入疯狂”的研究是首篇关于人工智能自噬的同行评审论文，重点研究了流行的 DALL·E 3、Midjourney 和 Stable Diffusion 等生成图像模型。
训练循环对AI模型的影响
巴拉纽克说：“我们选择研究视觉人工智能模型，以更好地突出自噬训练的缺陷，但正如其他团队所指出的，大型语言模型中也存在同样的疯牛病问题。”
互联网通常是生成式AI模型训练数据集的来源，因此，随着合成数据在网络上的大量涌现，随着每一代新模型的诞生，自循环消耗可能就会出现。为了深入了解这一过程可能发生的不同场景，巴拉纽克和他的团队研究了三种自循环训练回路的变化，旨在真实反映真实数据和合成数据如何结合到生成模型的训练数据集中：
循环的渐进迭代表明，随着时间的推移，如果没有足够的新鲜真实数据，模型就会生成越来越扭曲的输出，缺乏质量、多样性或两者兼而有之。换句话说，数据越新鲜，人工智能就越健康。
生成式人工智能的后果和未来
通过模型连续几代生成的图像数据集并排比较，描绘出潜在的人工智能未来的诡异画面。由人脸组成的数据集越来越多地带有网格状的疤痕——作者称之为“生成性伪影”——或者看起来越来越像同一个人。由数字组成的数据集变成了难以辨认的涂鸦。
巴拉纽克说：“我们的理论和实证分析使我们能够推断出随着生成模型的普及，并在自我消耗的循环中训练未来的模型，可能会发生什么。‘一些后果是显而易见的：如果没有足够的新鲜真实数据，未来的生成模型注定要陷入疯狂。’”
为了使这些模拟更加逼真，研究人员引入了一个抽样偏差参数来解释“择优选择”——即用户倾向于重视数据质量而非多样性，即牺牲数据集中图像和文本类型的多样性来换取看起来或听起来更好的图像或文本。择优选择的动机是，在更多的模型迭代过程中，数据质量得以保持，但这却以多样性更加急剧的下降为代价。
巴兰尼尤克说：“末日情景之一是，如果任其发展数代，那么多模态学习就可能会破坏整个互联网的数据质量和多样性。”“除此之外，似乎不可避免的是，即使从短期来看，人工智能的自噬也会导致迄今为止未曾预见的意外后果。”
参考：“自消耗生成模型走向疯狂”由西纳·阿勒穆罕默德、何塞·卡斯科-罗德里格斯、洛伦佐·卢齐、艾哈迈德·伊姆蒂亚兹·胡马云、侯赛因·巴巴伊、丹尼尔·勒琼、阿里·西亚科希和理查德·巴拉尼克于2024年5月8日在2024年国际学习表示会议（ICLR）上发表。
除了巴拉纽克之外，研究作者还包括莱斯大学的博士生西纳·阿勒穆罕默德 (Sina Alemohammad)、约苏·卡斯科·罗德里格斯 (Josue Casco-Rodriguez)、艾哈迈德·伊姆蒂亚兹·胡马云 (Ahmed Imtiaz Humayun)、侯赛因·巴巴伊 (Hossein Babaei)；莱斯大学博士毕业生洛伦佐·卢齐 (Lorenzo Luzi)；莱斯大学博士毕业生兼斯坦福大学现博士后研究员丹尼尔·勒琼 (Daniel LeJeune)；以及西蒙斯博士后研究员阿里·西亚胡希 (Ali Siahkoohi)。
这项研究得到了国家科学基金会、海军研究办公室、空军科学研究办公室和能源部的支持。
