在过去的几年里，科技公司巨头似乎能够垄断不断增长的大型语言模型(LLM) 市场。大型科技公司最近的财报电话会议表明一切在他们掌控之中。微软的公告尤其表明，该公司已经通过其人工智能服务创造了价值数十亿美元的业务，包括通过 Azure OpenAI 服务和 OpenAI 在其云基础设施上运行的工作负载。
然而，谷歌最近泄露的一份内部文件表明，由于开源 LLM 的进步，大型科技公司的市场份额并不像看起来那么安全。简而言之，该文件说“我们没有护城河，OpenAI 也没有。” 市场动态正逐渐从“越大越好”转变为“越便宜越好”、“越高效越好”和“可定制更好”。虽然基于云的 LLM 和生成式 AI 产品始终存在市场，但客户现在也可以探索开源选项。
大型语言模型的护城河
2020 年发表的GPT -3 论文展示了规模化的前景。在 1750 亿个参数下，该模型可以做很多它没有接受过训练的事情。GPT 模型的演变表明，如果您继续创建更大的 LLM 并在更大的数据集上训练它们，您将能够创建更强大的模型。
GPT-3 的成功增强了人们对创建更大语言模型的兴趣。几篇研究论文探讨了LLM的迷人特性，包括它们的涌现能力。与此同时，人工智能研究实验室竞相创建越来越大的模型，Gopher（280B 参数）、LaMDA（137B 参数）、PaLM（540B 参数）和 Megatron-Turing（530B 参数）是一些示例。
但与此同时，LLM 社区发生了更令人不快的变化。随着重点转向创建更大的 LLM，研究和创新的成本急剧上升。像 GPT-3 这样的模型需要花费数百万美元来训练和运行。因此，LLM 的工作仅限于少数富有的公司和与之相关的 AI 实验室。
随着 AI 实验室越来越依赖营利组织的财政支持，他们面临越来越大的压力，要求他们将技术货币化，这促使他们围绕他们的技术创造产品。同时，他们需要围绕自己的产品构建“护城河”。护城河是防止竞争对手抄袭您的产品和业务的防御机制。
LLM 的关键护城河是 ：
（1) 训练数据
（2) 模型权重
（3) 训练和推理的成本
大型科技公司已经在 (3) 中拥有优势，因为它们是唯一能够支付培训和运行超大型 LLM 成本的公司。即使是 GPT-3 的开源替代品，如BLOOM和OPT175-B，对于无力购买或租用数千个 GPU 的资金短缺的组织来说，实际上也无法获得。
然而，为了在其他两个领域获得优势，科技公司将这个领域推向了更隐蔽和更少共享的方向。OpenAI 可能是最具代表性的例子。它从一个发布其所有研究成果的 AI 实验室，转变为一家出售对其模型的 API 访问权限的初创公司。它甚至不再发布有关其训练数据和模型架构的详细信息。
很长一段时间，这似乎是一场逐底竞争，大型科技公司向法学硕士投入更多资金，并使该领域更加隐秘。
开源LLM
随着LLM 的权力集中在几家大型科技公司，开源社区做出了回应。在 ChatGPT 发布后，他们加强了努力，这表明指令遵循语言模型在不同应用程序中的前景越来越大。在过去的几个月里，我们看到了几个开源 LLM 的发布，它们挑战了大型科技公司已经建立的整个商业模式。
ChatGPT 的这些开源替代品证明了几个关键点：
首先，如果你在非常大的数据集上训练它们，那么具有几十亿个参数的 LLM 可以在性能方面与非常大的模型竞争。
其次，您可以用很少的预算和适度的数据将小型 LLM 微调到令人印象深刻的程度。
最后，这不是新观点——开源 LLM 的进步速度比封闭生态系统快得多，因为不同的团队可以在彼此的工作之上构建。
大多数这些 LLM 的参数范围在 7-130 亿之间，可以在强大的消费级 GPU 上运行。有趣的是，这场运动是由LLaMA的发布引发的，LLaMA 是 Meta 开发的开源 LLM 系列。不久之后，不同大学的研究人员发布了 Alpaca 和 Vicuna，这两个模型是在 LLaMA 之上创建的，它们针对指令跟踪（如 ChatGPT）进行了微调。
LLaMA 的许可证禁止将其用于商业目的。Databricks 的 Dolly 2 通过构建在 EleutherAI 的 Pythia 模型之上解决了这个问题。Open Assistant 是一个完全开放的模型，可以访问所有内容，包括代码、模型权重和训练数据。
这些模型还利用了低秩适应(LoRA) 等技术，可将训练成本降低多达一千倍。
这些模型为希望在其应用程序中使用 LLM 的企业提供了替代方案。现在，他们可以使用低成本模型，这些模型可以在自己的服务器上运行，并且可以用非常少的预算频繁地使用自己的数据进行更新。
这对大型科技公司意味着什么？正如谷歌备忘录所警告的那样，“由于LLM 的前沿研究负担得起，保持技术竞争优势变得更加困难。世界各地的研究机构都在相互借鉴，以广度优先的方式探索解决方案空间，这远远超出了我们自身的能力。我们可以在外部创新稀释它们的价值时努力保守我们的秘密，或者我们可以尝试相互学习。”
封闭式LLM 市场会发生什么变化？
显然，大型科技公司将无法垄断LLM市场。但这并不意味着基于云的语言模型市场将会消失。正如 AI 研究员 Andrej Karpathy 指出的那样，开源 LLM 生态系统仍然面临一些问题，包括预训练基础模型的高成本。
同时，开源 LLM 并不适合所有人。对于没有内部机器学习人才并希望通过几次 API 调用快速将 LLM 集成到其应用程序中的公司，无服务器黑盒解决方案仍然非常有吸引力。与此同时，微软和谷歌等公司通过其应用程序和客户群拥有非常强大的分销渠道。
然而，开源社区的努力将扩大市场，使在新环境中使用 LLM 成为可能，例如您自己的笔记本电脑。与此同时，他们将在一定程度上将市场商品化，并迫使科技巨头为他们的客户提供更具竞争力的价格。
LLM 领域发展非常迅速，看看未来几周和几个月会发生什么将会很有趣。
参考链接：https://bdtechtalks.com/2023/05/08/open-source-llms-moats/
