VoiceCraft是一个由德克萨斯大学奥斯汀分校研究团队开源的神经编解码器语言模型，专注于零样本语音编辑和文本到语音（TTS）任务。该模型采用Transformer架构，通过创新的token重排过程，结合因果掩蔽和延迟叠加技术，可零样本实现在现有音频序列内的高效生成。VoiceCraft在多种口音、风格和噪声条件下的语音编辑和TTS任务上展现出卓越性能，生成的语音自然甚至难以与原声区分。

VoiceCraft – 开源的语音编辑和文本转语音模型 第1张
（图片来源网络，侵删）
VoiceCraft – 开源的语音编辑和文本转语音模型 第2张
（图片来源网络，侵删）