介绍

随着科学技术的进步，自动化在各个领域都很普遍。由于数据科学家创建的模型，企业现在正在使用机器而不是人来做决策，这不可避免地提出了一个问题：数据科学家执行的任务是否可以自动化。因此，自动化机器学习正在成为数据科学领域讨论的热门话题。

在深入研究AutoML之前，让我们先了解什么是AI和ML。人工智能是一种使机器能够模拟人类行为的技术，而ML是人工智能的一个子集，它允许机器在不显式编程的情况下自动从过去的数据中学习。人工智能的目标是开发像人类一样的智能计算机系统，并解决复杂的问题。

在当今世界，机器学习是最受欢迎的技术，现在几乎被用于所有可以想象到的领域。但是那些不太熟悉ML的人呢？这就是AutoML或自动机器学习的用武之地!

本文的目标是解决以下问题：

(i) Auto ML工具提供了哪些可用的ML功能；

(ii)从研究AutoML领域的研究论文中可以得出什么见解和结论；

(iii)现时有哪些不同的AutoML解决方案供应商;

(iv)数据科学家和AutoML将如何共同拥有未来。

让我们通过两位数据科学家之间的聊天来了解AutoML在机器学习领域的重要性：

AutoML的用例

公司出于各种目的自动化他们的机器学习过程。在大多数用例中，公司已经实现了ML，并希望提高其性能。大多数情况下，公司希望拥有自动化的洞察力，以更好地进行数据驱动的决策和预测。从案例研究中观察到的典型自动化过程是：

• 欺诈检测
• AML检测（反洗钱）
• 医疗保健
• 定价
• 销售管理
• 营销管理

表1：AutoML的用例

解读谷歌趋势分析

在分析 Google Trends 中的搜索量指数时，出现的图表并不代表实际的搜索量数字，而是一个范围为 0-100 的指数。这些数字表示相对于所选区域和时间图表上最高点的搜索兴趣，值为 100 是该词的最高流行度，而值为 50 表示该词的流行度只有一半，0 分表示所选术语没有足够数量的数据可用。

图 1：关键字“AutoML”在过去 5 年的 Google 搜索情况

这里分析了过去 5 年全球范围内对关键词“自动机器学习”的搜索，可以看出它从 2017 年的平均得分 30 增加到 2019 年的 55，同时得分从 55 略微下降到2020 年是 54 分，但到 2022 年又回到了 57 分，这让我们相信，不仅是数据科学界，全世界都在过去 5 年开始探索这个话题。

推动 AutoML 需求的原因：

• 缺乏经验丰富的技术专家
• 漫长的开发过程
• 目前手工流程的支出巨大
• 大量的重复性工作

自动化机器学习扮演什么角色?

• AutoML使公司能够使用机器学习解决方案，而不必投入额外的金钱和时间来寻找端到端流程所需的所有专业人员，从而提供更大的投资回报
• AutoML有助于弥合数据科学家和机器学习问题之间的差距
• AutoML提高了生产力，并使ML工具大众化
• AutoML通过自动化构建和部署ML模型所需的大部分建模过程，帮助企业用户快速采用ML工具或解决方案，使公司的数据科学家能够专注于更复杂的问题。

使用AutoML的好处

• 有助于节省时间：一个典型的数据科学问题需要人们在为给定的业务问题决定合适的算法之前运行许多模型，AutoML消除了这种手工劳动，并帮助将数据传输到训练算法并搜索适当的模型，使用AutoML只需几分钟就可以得到结果，而不是几个小时。
• 在使用ML算法时减少错误：AutoML通过最大限度地减少由偏差或人为错误引起的不准确的可能性来改进模型。

哪些机器学习过程可以自动化?

• 数据预处理：该过程包括提高数据质量，并通过数据清理、数据集成、数据转换和数据缩减等方法将非结构化原始数据转换为结构化格式。
• 特征工程：AutoML可以自动化以下任务：(i)特征创建：创建特征涉及创建对我们的模型最有帮助的新变量。这可以是添加或删除一些功能；(ii)转换：特征转换只是将特征从一种表示形式转换为另一种表示形式的函数。这里的目标是绘制和可视化数据，如果一些东西没有与新特征相结合，我们可以减少使用的特征数量，加快训练，或提高某个模型的准确性；(iii)特征提取：特征提取是从数据集中提取特征以识别有用信息的过程。在不扭曲原始关系或重要信息的情况下，这将数据量压缩为可管理的数量，供算法处理。
• 算法选择和超参数优化：AutoML工具为给定的ML问题选择最佳算法和最优超参数，无需任何人工干预。

图 2：数据科学工作流程中的自动化状况  

AutoML 的挑战

• 符合灵活规范：使用 AutoML 的主要挑战是不符合用户的所有灵活规范。所有这些解决方案都更注重性能，而在现实世界中，性能只是 ML 项目的一个方面。它几乎不关心业务的存储和计算需求。
• 80/20 规则： AutoML 使大约 80% 的数据科学工作自动化，而其余 20% 的工作（例如了解客户的需求和向利益相关者展示最终模型）仍需要人工干预。 
• 可解释性：虽然人们可以看到这些 AutoML 解决方案的原因代码和模型蓝图，但有时它们过于技术化，非数据科学背景的人无法理解。因此，仍然需要人类来处理这种情况。

AutoML 的所有这些挑战让我们相信，即使存在 AutoML 方法，我们仍然需要数据科学家来处理自动化项目的其他复杂问题。

AutoML-文献计量分析领域的研究论文研究

文献计量分析是一种科学的计算机辅助审查方法，可以通过涵盖与给定主题或领域相关的所有出版物来识别核心研究或作者，以及他们之间的关系。

考虑研究的年份

该分析考虑了 2001 年至 2021 年发布的与自动化机器学习相关的 439 份文件。

AutoML 研究领域的出版物产出和增长趋势

文档数量呈上升趋势，这可归因于对数据科学家的需求不断增加，AutoML 工具/服务越来越受欢迎，并帮助公司使用 ML 以有效且可扩展的方式提取业务洞察力。总的来说，出版物的数量在过去十年中呈稳步增长，从 2012 年只有 3 篇论文开始，到 2021 年出版物数量增长了近 98%（n = 187）。2021 年发表了 187 篇文章，数量最多。这表明自动机器学习是数据科学中一个年轻但正在爆炸式增长的领域。

图 3：AutoML 领域的出版物数量（按年）

自动化机器学习研究热点关键词分析

图4：共现分析词云

为了探索新兴和广泛讨论的话题和潜在的未来话题，我们使用 VOSViewer 对关键词进行了共现分析。关键词共现可以有效反映研究热点，为科学研究提供辅助支持。在所有 439 篇自动化机器学习相关论文中，共获得 3622 个关键词。 

这里，节点和词越大，权重越大，这意味着特定关键字已在出版物中被广泛引用。两个节点之间的距离反映了两个主题之间的关系强度，较短的距离通常显示出更强的关系。从图中可以看出，与其他关键词相比，自动化机器学习是一个密集的关键词，因为它被作者广泛引用。从图中可以得出的另一个结论是，AutoML 和遗传编程有着密切的关联，这是因为 AutoML 已广泛用于遗传编程。 

图像分析和 AutoML 之间的较大距离表明它们之间的联系并不紧密，这可能是因为没有太多研究论文讨论AutoML 在图像分析中的应用。尽管谷歌云是一个例外，但他们制作了 Vision API，可将图像分类为数千个预定义类别，检测图像中的单个对象和面部。

哪些地区是AutoML的研究热点？

图 5：地理热图

从上图可以看出，美国和中国是自动化机器学习领域的重要研究中心，因为它们发表了大量文献。我们还可以看到很多 AutoML 供应商的总部都设在这些国家。 

图中不同深浅的蓝色表示不同的生产率：深蓝色 = 高生产率；灰色 = 没有文章。参考该图后，我们还可以将其与大多数 AutoML 供应商的总部位于这些国家/地区的事实相关联。

市场规模预测

• 全球 AutoML 市场在 2019 年创造了 2.7 亿美元的收入，预计到 2030 年将达到 150 亿美元。 
• 在预测期内（2020-2030 年），全球 AutoML 市场预计将以 44% 的复合年增长率增长。 
• 预计到 2030 年，超过 65% 的 AutoML 市场将位于北美和欧洲。

AutoML 采用

• 当前采用情况：公司正在采用 AI 的数据和分析决策者中有 61% 表示他们已经实施或正在实施 AutoML 软件。
• 未来采用：25% 的公司正在采用 AI 的数据和分析决策者表示，他们计划在明年内实施 AutoML 软件。

AutoML 解决方案提供商：

• 开源
• 创业公司
• 科技巨头

AutoML 软件比较：

我们专注于 AutoML 解决方案，即：

• DataRobot
• Dataiku
• H2o.ai
• Google Cloud AutoML
• Microsoft Azure AutoML
• TPOT
• MLJar
• Darwin
• TransmogrifAI

解释谷歌搜索：

图 6：不同 AutoML 工具的 Google 搜索得分

从图 6 中，我们可以看到 Dataiku 和 DataRobot 在过去 5 年中一直在 Google 搜索中呈现趋势，因为它们的搜索分数每年都在增加。越来越多的用户正在网上寻找它们，因为它们的功能有所增强，如表 2 和表 3 所示。 

能力分析

这是所有 AutoML 供应商的软件比较。TPOT、MLjar、TransmogrifAI 是开源的 autoML 解决方案，而 DataRobot、Dataiku、H20.ai、Darwin 是基于初创公司的，Google Cloud AutoML、Microsoft Azure AutoML 是基于科技巨头的。 

这些功能被分为大类，然后对其进行分析，下表显示了颜色索引方法。一个好的 AutoML 软件应该能够根据业务需求训练具有有限机器学习专业知识的自定义机器学习模型，它应该提供简单、安全和灵活的产品，并带有易于使用的图形界面。

表 2：AutoML 解决方案功能

表2图例

表 3：AutoML 解决方案功能及其子类别

表3图例

还对大类别的子类别进行了分析，并检查了供应商是否提供特定类别。从表 2 和表 3 可以得出结论，DataRobot 支持大部分功能，其次是 Dataiku。

数据科学家与 AutoML

AutoML 工具在速度和风险降低方面优于人类数据科学家，但人脑在其他方面优于机器。数据科学家将一定程度的细微差别、直觉和创造性的问题解决方法带到了 AutoML 根本无法比拟的过程中。

图 7：具有自动化的数据科学工作流分布

从分析中可以推断，大约 43% 的数据科学家工作可以由机器完全自动化，另外 28.57% 的工作可以由人机协作完成，剩下的 28.57% 的工作将完全由人来完成。

此外，从最近的公司职位描述中可以明显看出，AutoML 解决方案需要作为数据科学家角色的首选资格。例如 –增长分析，北极星。因此，Udemy、Coursera 等在线教育平台已经开始提供 AutoML 课程，例如AutoML Bootcamp、Google Cloud 上的机器学习（Vertex AI 和 AI 平台）、使用 AutoML 分析数据集和训练 ML 模型，以培训新的数据科学家来开发这个发展技能并成为革命的一部分。

结论

“AutoML 与数据科学家”的讨论本身就存在缺陷，鼓励技术领导者深入探讨真正的问题：企业如何充分利用 AutoML 和数据科学家？

成功的数据科学家将采用 AutoML 工具，就像建筑行业采用拼板和预制工具一样：作为一种机制，可以减少他们花在重复性任务上的时间，并允许机器准备他们进行更专业化工作所需的材料。

原文链接：https://insidebigdata.com/2022/12/28/automl-the-future-of-machine-learning/

---煤油灯科技victorlamp.com翻译整理---