VALL-E:可以模仿说话者的情绪和语气的AI工具

煤油灯科技2023-01-18 09:41

去年出现了人工智能工具(AI),可以用文本提示创建图像、艺术品甚至视频。

人工智能写作也取得了重大进展,OpenAI的ChatGPT引起了人们对写作未来的广泛兴趣和担忧。

现在已经是2023年,人工智能的另一个强大用例已经成为人们关注的焦点——一种可以完美模仿人的声音的文本转语音工具VALL-E。

VALL-E由微软公司开发,可以对某个人的声音进行三秒钟的录音,并复制该声音,将书面文字转化为语音,并根据文本的上下文使用逼真的语调和情绪。

它接受了6万小时的英语演讲录音训练,可以在“零样本情况”(zero-shot situation)下发表演讲,这意味着没有任何先前的例子或在特定上下文或情况下的训练。

VALL-E 工作原理的图表

在康奈尔大学发表的一篇论文中,开发人员介绍了VALL-E,解释说录音数据由7000多个不同的说话者组成。

该团队表示,他们的文本到语音系统(TTS)使用的数据是现有TTS系统的数百倍,帮助他们克服了零样本问题。

该工具目前还没有公开使用,但它确实引发了关于安全性的问题,因为它可以用来生成来自任何人声音的任何文本。

微软尚未公开 VALL-E 的源代码,而且很可能不会公开,并指出它可能会以不负责任的方式使用——例如,政治家的恶作剧录音。当与 deepfake 视频相结合时,结果可能会将“假新闻”推向新的高度。微软的例子表明了一切皆有可能。因此,其他人的类似系统似乎很快就会出现。

微软提供的示例表明,该系统对某些语音的处理效果要好于其他语音,而且它在处理口音方面存在问题,但由于该应用仍处于早期阶段,其功能很可能会随着时间的推移而得到改进。

微软这些年在人工智能领域投入了大量资金,并且是OpenAI的支持者之一,OpenAI是ChatGPT和DALL-E(一种文本转图像或艺术工具)的背后公司。


原文链接:https://www.euronews.com/next/2023/01/10/after-chatgpt-and-dalle-meet-vall-e-the-text-to-speech-ai-that-mimics-anyones-voice

论文链接:https://arxiv.org/pdf/2301.02111.pdf

 

---煤油灯科技victorlamp.com翻译整理---

你可能也喜欢这些文章

科技互联网,科技,资讯,动态,洞察,量子,计算,AI,人工智能,机器人,区块链,Web3,分布式,操作系统,OS,芯片,视频,深度,论文