概述
如今，生成式 AI 模型风靡一时，这在很大程度上要归功于 OpenAI 及其最新的 gpt-3 和 gpt-4 模型。围绕这些大型语言模型 (LLM) 的快速开发速度简直令人难以置信，ChatGPT 最近打破了历史上增长最快的消费者应用程序的记录，在头两个月就达到了 1 亿用户。
从那时起，每个人都进入了transformer游戏。看看这个时间轴：
人工智能/机器学习创新的演变
为了不被微软、Facebook 和亚马逊超越，ML 社区甚至创建了CatGPT，这是完全围绕猫构建的 ChatGPT 的模仿。
如果你退后一步，想想我们在过去几年取得的进步，那是相当惊人的。
我们已经从努力让计算机正确区分吉娃娃和松饼一直到生成令人难以置信的吉娃娃和松饼的数字图片！
吉娃娃还是松饼？
从给冰箱里的食材拍照，到要求 chatgpt 推荐食谱，再到创造一种全新的语言，人们已经找到了各种创造性的方法来使用这项新技术。
还缺少什么？
具有讽刺意味的是，尽管取得了所有这些进展，但我们还没有看到尽可能多的尝试改进标准 ML 建模管道的技术应用。是的，我说的是普通分类和回归问题。
那么，我们如何才能将这项强大的技术整合到我们现有的 ML 工作流程中，以获得更准确的结果呢？
这个问题可能有几十个甚至成百上千个答案。不过，出于本文的考虑，只探讨一个：如何使用生成式 AI 来扩充训练数据集并提高模型的预测性能。
为了说明这一点，我将使用 Fastiron 的公开数据。让我们看一下数据集的前十行：
Fastiron 数据集
每一行都是二手建筑设备在拍卖会上的价格示例。出于我们的目的，我们将构建一个 ML 模型，该模型使用所有这些车辆信息并预测预期的销售价格（上表中最右边的一列）。
诀窍
那么生成式 AI 和 GPT 呢！？作为非领域专家，我们对重型装备行业知之甚少，大多数这些产品描述都是速记，没有任何意义。
轮式装载机到底是什么——110.0 到 120.0 马力！幸运的是，这是gpt-3.5 turbo可以救援的地方。
使用此功能，我们可以要求 GPT 将每辆车的增强描述添加到我们的数据集中。以下是我们数据集中第一辆车的提示：
你在一家拍卖二手工业车辆的经销商处担任重型设备行业的分析师。想一想大型/中型 325BL 履带式液压挖掘机的能力 — 28.0 至 33.0 公吨，配备 EROPS 外壳。关于这件特殊的设备，你还知道什么？简明扼要，只告诉我具体的功能和性能。
接下来，我们需要编写一个函数，将此提示发送到 OpenAI 的 gpt-3.5-turbo API：
最后一步是创建我们的提示并请求每一行的增强描述，我们可以简单地运行一个应用函数，，我们有一个新功能可以用来训练我们的销售价格模型！
从这个简单的提示中，ChatGPT 将输出以下内容：
325BL 中型液压挖掘机的臂长为 12.5 英尺，铲斗容量高达 1.63 立方码，最大挖掘深度为 22.8 英尺。它由 CAT 3116TA 发动机提供动力，可产生高达 177 马力的功率。该机器的摆动速度为每分钟 11 转，最大行驶速度为每小时 3.3 英里。EROPS 外壳在执行任务时为操作员提供安全舒适的环境。总体而言，325BL 旨在为重型工业作业提供强大而可靠的性能。
比轮式装载机更详细的描述— 110.0 至 120.0 马力。没有任何其他工作，我们突然了解了这辆车的铲斗容量、发动机类型、摆动速度和行驶速度，很难想象这些信息不包含有关我们销售价格的信号。
由于我们只有一个示例在工作，我们现在可以对整个数据集运行相同的过程。
增强数据集
现在我们需要做的就是在这个更新的数据集上建立一个机器学习模型，将使用 DataRobot 的 ML 平台，因为它会自动处理我们的文本预处理。
一旦我们上传了数据集并启动了一个项目，我们就可以训练以下管道：
DataRobot模型蓝图
在此管道中，我们将新的增强描述功能提供给预训练的 RoBERTa 模型，该模型将嵌入输出到最终的 XGBoost 回归器。
几分钟后，一旦模型经过全面训练，我们就可以查看其功能影响：
特征影响图
可以看到我们新增强的描述字段是模型中第三重要的特征。
概念化这种方法如何实际提高准确性的一种方法是将其视为预训练模型。它的工作方式类似于您如何利用 BERT、RoBERTa 或 LLaMA 等预训练模型将原始文本转换为嵌入，只是在这种情况下我们输出的文本更多。无论哪种方式，我们都在利用预训练模型来添加原始数据集中不存在的上下文。
那么我们的模型从这个新特征中提取了什么信息呢？我们来看一个词云：
增强描述栏的词云
我们可以获得更精细的洞察力并深入到行级别，DataRobot 的预测解释将为我们评分的每辆工程车辆提供 Shapely 值。
对于这辆特殊的车辆，我们新的增强描述字段是第四个最重要的特征。
模型正在利用描述来增加其销售价格预测，究竟是什么描述？
幸运的是，我们可以双击实际描述并查看突出显示的 n-gram，这些 n-gram 描述了每个标记对模型整体预测的影响：
可以看到该模型在我们原始数据集中没有的重要标记上拾取，例如挖掘深度和液压系统。那是 GPT 改进了我们的结果！
参考链接：https://betterprogramming.pub/how-chatgpt-can-improve-your-ml-models-5b839b815b37
