so-vits-svc: 开源AI唱歌音乐语音合成人声克隆模型

So-VITS-SVC是一个基于VITS(Vector-Quantized Variational Autoencoder with Multi-head Self-Attention)的开源人声克隆项目,可以用来生成高质量的人声合成音频,特别是用于翻唱歌曲。

So-VITS-SVC是由B站UP主@Saya睡大觉中和@羽毛布団共同开发的一个开源项目,其目标是实现端到端的人声克隆,即只需要输入一段人声音频和一段歌词,就可以生成相同或相似的人声唱出歌词的音频。该项目基于VITS模型,但做了一些改进和优化,例如增加了SVC(Speaker Verification Classifier)模块来提高音色的相似度,以及使用了更高采样率(44.1kHz)来提高音质。该项目目前已经发布了4.0版本,并提供了多种语言(中文、日文、英文等)和多种音色(碧蓝档案、初音未来、洛天依等)的预训练模型供用户下载和使用。

特色功能

  • 高质量的人声合成:So-VITS-SVC模型可以生成接近原声或者原唱的人声合成音频,音质清晰,音色相似,音准准确,韵律自然,表现力丰富。可以适应不同风格和类型的歌曲,例如流行、摇滚、古风等,并且可以处理不同语言和方言的歌词。
  • 简单易用的训练和推理:So-VITS-SVC模型提供了完整的训练和推理教程和工具包,用户只需要按照步骤进行操作,就可以在本地或者云端训练自己的音色模型,并用它来生成人声合成音频。该模型对于电脑的硬件要求并不高,只需要支持CUDA的6G显存以上的N卡,以及足够的硬盘空间。也提供了多种数据集预处理和切片工具,以及多种可视化和调试工具,方便用户优化和监控训练过程。
  • 丰富多样的预训练模型:So-VITS-SVC模型目前已经提供了多种语言(中文、日文、英文等)和多种音色(碧蓝档案、初音未来、洛天依等)的预训练模型供用户下载和使用。这些预训练模型都经过了大量的数据集训练和优化,效果非常出色。用户可以直接用这些预训练模型来生成人声合成音频,也可以在这些预训练模型的基础上进行微调,以适应自己的需求。

收费价格

So-VITS-SVC模型是一个完全免费和开源的项目,用户可以在GitHub上获取该项目的源代码和相关资源,并且可以自由进行使用。

给TA打赏
共{{data.count}}人
人已打赏
AI工具

Cascadeur: 基于人工智能技术的AI辅助动画制作K帧软件

2023-5-3 8:00:27

AI工具

Amazon AWS CodeWhisperer: 基于机器学习的AI编码助手

2023-5-5 8:00:38