35.3K+ Star!MockingBird:一个AI拟声工具, 5秒内克隆你的声音并生成任意语音内容

欢迎关注我,持续获取更多内容,感谢&在看~

MockingBird 简介

MockingBird[1] 是一个AI拟声项目,能够在5秒内克隆你的声音并生成任意语音内容,实现实时语音合成。该项目支持中文普通话,并在多个数据集上进行了测试。

35.3K+ Star!MockingBird:一个AI拟声工具, 5秒内克隆你的声音并生成任意语音内容

项目特点

主要特点

  • 中文支持:支持中文普通话,并在多个数据集上进行了测试。
  • PyTorch兼容性:适用于PyTorch,测试版本为1.9.0,支持GPU Tesla T4和GTX 2060。
  • 跨平台运行:可在Windows和Linux操作系统上运行,甚至在M1芯片的MACOS上。
  • 效果显著:即使仅使用新训练的合成器,通过重用预训练的编码器/声码器,也能获得出色的效果。
  • Web服务器就绪:可以远程调用,为你的训练结果提供服务。

使用场景

MockingBird适用于需要实时语音合成的场景,如虚拟助手、语音合成应用等。

项目使用

安装要求

  • Python 3.7或更高版本:运行MockingBird所需的Python版本。
  • PyTorch:安装PyTorch,测试版本为1.9.0。
  • ffmpeg:安装ffmpeg。
  • 依赖包:通过运行pip install -r requirements.txt安装其他必要的包。

快速开始

  1. 安装依赖:按照上述要求安装Python、PyTorch、ffmpeg和依赖包。
  2. 准备模型:可以选择训练自己的模型或使用预训练模型。
  • 训练编码器(可选):使用自己的数据集训练编码器。
  • 训练合成器:使用自己的数据集训练合成器。
  • 使用预训练合成器模型:社区共享了一些模型,可以直接下载使用。
  • 训练声码器(可选):虽然声码器的效果差异不大,但可以选择训练新的声码器。
  1. 启动项目
  • 使用Web服务器:运行python web.py并在浏览器中打开,默认地址为http://localhost:8080
  • 使用工具箱:运行python demo_toolbox.py -d <datasets_root>
  • 使用命令行:运行python gen_voice.py <text_file.txt> your_wav_file.wav

相关资源

  • MockingBird项目是基于Real-Time-Voice-Cloning[2]开发的,它仅支持英文。MockingBird引入了对中文的支持,并在多个中文数据集上进行了测试和优化。
  • 快速开始[3]
  • DEMO VIDEO[4]
  • Wiki教程[5]
  • 训练教程[6]

注:本文内容仅供参考,具体项目特性请参照官方 GitHub 页面的最新说明。

欢迎关注&点赞&在看,感谢你的阅读~


资源列表
[1]

Github地址: https://github.com/babysor/MockingBird

[2]

Real-Time-Voice-Cloning: https://github.com/CorentinJ/Real-Time-Voice-Cloning

[3]

快速开始: https://github.com/babysor/MockingBird/wiki/Quick-Start-(Newbie)

[4]

DEMO VIDEO: https://www.bilibili.com/video/BV17Q4y1B7mY/?vd_source=5a793cc9f29ac5f886462b7453b85795

[5]

Wiki教程: https://github.com/babysor/MockingBird/wiki/Quick-Start-(Newbie)

[6]

训练教程: https://vaj2fgg8yn.feishu.cn/docs/doccn7kAbr3SJz0KM0SIDJ0Xnhd

原文始发于微信公众号(AIGC创想者):35.3K+ Star!MockingBird:一个AI拟声工具, 5秒内克隆你的声音并生成任意语音内容

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

文章由极客之音整理,本文链接:https://www.bmabk.com/index.php/post/314908.html

(0)
小半的头像小半

相关推荐

发表回复

登录后才能评论
极客之音——专业性很强的中文编程技术网站,欢迎收藏到浏览器,订阅我们!