GitHub Copilot 是第一个基于大型语言模型的真正产品

煤油灯科技2022-07-12 07:30

自 GPT-2 以来,大型语言模型(LLM) 的应用引起了极大的关注。在过去的几年中,我们看到 LLM 用于许多令人兴奋的任务,例如撰写文章、设计网站、创建图像,甚至编写代码。

但正如我之前所说,在展示一项新技术做一些很酷的事情和使用相同的技术创造一个具有可行商业模式的成功产品之间存在很大差距。我认为,微软刚刚发布了第一个真正的 LLM 产品,同时公开发布了 GitHub Copilot ,这是一个具有很强的产品/市场匹配度、具有巨大附加值、难以被击败、具有成本效益、拥有非常强大的分销渠道并且可以成为巨大利润来源的应用程序。

GitHub Copilot 的发布提醒了两件事:首先, LLMs很吸引人,但它们在应用于特定任务而不是通用人工智能时很有用。其次, LLMs的性质使微软和谷歌等大型科技公司在商业化方面处于不公平的优势—— LLMs并不民主。

专业的大型语言模型

Copilot 是一种AI 编程工具,作为扩展安装在 Visual Studio 和 VS Code 等流行 IDE 上。它在您编写代码时提供建议,例如自动完成,但用于编程,它的功能范围从完成一行代码到创建整个代码块,例如函数和类。

GitHub Copilot 和 Codex 的成功强调了一个重要事实。在将 LLM 投入实际使用时,专业化胜过泛化。当 Copilot 于 2021 年首次推出时,CNBC 报道说:“当 OpenAI 第一次训练 GPT-3]时,这家初创公司无意教它如何帮助编码,OpenAI 首席技术官 Greg Brockman 说:“它更多地是作为一种通用语言模型 ,例如,可以生成文章、修复不正确的语法以及从一种语言翻译成另一种语言。”

但是,虽然 GPT-3 在各种应用中取得了轻微的成功,但 Copilot 和 Codex 已被证明在某个特定领域大受欢迎。Codex 不能像 GPT-3 那样写诗歌或文章,但事实证明它对不同专业水平的开发人员非常有用。Codex 也比 GPT-3 小得多,这意味着它的内存和计算效率更高。鉴于它是为特定任务训练的,而不是人类语言的开放和模棱两可的世界,它不太容易陷入像 GPT-3 这样的模型经常陷入的陷阱。

然而值得注意的是,正如GPT-3 对人类语言一无所知,Copilot 对计算机代码一无所知。它是一个已在数百万个代码库上训练过的转换器模型。给定一个提示(例如,一段代码或文本描述),它将尝试预测下一个最有意义的指令序列。

凭借其庞大的训练语料库和庞大的神经网络,Copilot 大多做出了很好的预测。但有时,它可能会犯一些最新手程序员会避免的愚蠢错误。它不会像程序员那样考虑程序。它无法设计软件或分步思考,无法考虑用户需求和体验以及构建成功应用程序的所有其他因素。它不能替代人类程序员。

Copilot 的产品/市场契合度

任何产品的里程碑之一是实现产品/市场契合,或者证明它可以比市场上的替代解决方案更好地解决某些问题。在这方面,Copilot 取得了惊人的成功。

GitHub 去年 6 月发布了 Copilot 作为预览产品,此后已被超过一百万的开发人员使用。

根据 GitHub 的说法,在激活 Copilot 的文件中,它约占书面代码的 40%。上周与我交谈过的开发人员和工程师表示,虽然 Copilot 的功能有限,但不可否认它显着提高了他们的生产力。

对于某些用例,Copilot 正在与 StackOverflow 和其他代码论坛竞争,用户必须在其中搜索他们面临的特定问题的解决方案。在这种情况下,Copilot 的附加价值非常明显且显而易见:更少的挫败感和分心,更多的专注。开发人员无需离开他们的 IDE 并在 Web 上搜索解决方案,只需键入他们想要的功能的描述或文档字符串,Copilot 会为他们完成大部分工作。

在其他情况下,Copilot 正在与手动编写令人沮丧的代码竞争,例如在 Python 中配置 matplotlib 图表(一项超级令人沮丧的任务)。虽然 Copilot 的输出可能需要一些调整,但它减轻了开发人员的大部分负担。

在许多其他用例中,Copilot 已经能够巩固自己作为解决许多开发人员每天面临的问题的卓越解决方案。开发人员告诉我一些事情,例如运行测试用例、设置 Web 服务器、记录代码以及许多其他以前需要人工完成且费力的任务。Copilot 帮助他们在日常工作中节省了大量时间。

分销和成本效益

产品/市场契合度只是创造成功产品的几个组成部分之一。如果您有一个好的产品,但无法找到合适的分销渠道以经济高效且有利可图的方式实现其价值,那么您注定要失败。同时,你需要一个计划来保持你在竞争对手中的优势,防止其他公司复制你的成功,并确保你可以继续创造价值。

为了将 Copilot 变成一个成功的产品,微软需要整合几个非常重要的部分,包括技术、基础设施和市场。

首先,它需要正确的技术,这要归功于其对 OpenAI 技术的独家许可。自 2019 年以来,OpenAI 已停止对其技术进行开源,而是将其授权给其财务支持者,其中主要是微软。Codex 和 Copilot 是在 OpenAI 科学家的帮助下基于 GPT-3 创建的。

其他大型科技公司已经能够创建与 GPT-3 相当的大型语言模型。但不可否认,LLM 的培训和运行成本非常高。

“对于一个比 Codex 小 10 倍的模型——Copilot 背后的模型——需要数百美元才能对  他们在论文中使用的这个基准进行评估,”Loubna Ben Allal, Hugging Face 的机器学习工程师告诉TechTalks。Ben Allal 提到了另一个用于 Codex 评估的基准,她自己的较小模型花费了数千美元。

Ben Allal 说:“还有安全问题,因为你必须执行不受信任的程序来评估可能是恶意的模型,沙箱通常用于安全性,”。

Hugging Face 的另一位 ML 工程师 Leandro von Werra 估计培训成本在数万到数十万美元之间,具体取决于所需实验的规模和数量。

“推理是最大的挑战之一,”von Werra在对 TechTalks 的评论中补充道。“虽然现在几乎任何有资源的人都可以训练 10B 模型,但要让推理延迟足够低以对用户做出响应是一项工程挑战。”

这是微软的第二个优势发挥作用的地方。该公司已经能够创建一个大型云基础架构,专门用于 Codex 等机器学习模型。它运行推理并以毫秒为单位提供建议。更重要的是,微软能够以非常实惠的价格运行和提供 Copilot。目前,Copilot 的价格为每月 10 美元或每年 100 美元,并将免费提供给流行开源存储库的学生和维护者。

早些时候与我交谈过的 Hugging Face 的另一位 ML 工程师 Abhishek Thakur 说:“作为一名机器学习工程师,我知道构建此类产品需要做很多事情,尤其是 Copilot,它可以提供亚毫秒级延迟的建议。在很长一段时间内,在现实世界中免费构建一个为这些模型提供服务的基础设施是不可行的。”

但是,以可承受的价格运行代码生成器 LLM 并非不可能。

“在构建这些模型和必要数据的计算方面:这是非常可行的,并且已经有一些 Codex 的复制,例如来自 Meta 的 Incoder 和来自 Salesforce 的 CodeGen(现在可以在 Hugging Face Hub 上免费访问),与 Codex 的性能相匹配, ”von Werra说。“将模型构建成快速而出色的产品肯定涉及到一些工程,但似乎许多公司如果愿意也可以这样做。”

然而,这就是第三块拼图开始的地方。微软收购 GitHub 使其进入了最大的开发者市场,使公司可以轻松地将 Copilot 交到数百万用户手中。微软还拥有 Visual Studio 和 VS Code,这两个最受欢迎的 IDE 拥有数亿用户,与其他类似产品相比,这减少了开发人员采用 Copilot 的摩擦。

凭借其定价、效率和市场影响力,微软似乎已经巩固了其在人工智能辅助软件开发新兴市场中的领导地位。市场可以采取其他方式。可以肯定的是(正如我之前指出的),大型语言模型将为创建新的应用程序和市场提供大量机会。但它们不会改变健全产品管理的基础。


原文链接:https://bdtechtalks.com/2022/07/05/github-copilot-large-language-model-product-management/

你可能也喜欢这些文章

科技互联网,科技,资讯,动态,洞察,量子,计算,AI,人工智能,机器人,区块链,Web3,分布式,操作系统,OS,芯片,视频,深度,论文