Freestyler是西北工业大学计算机科学学院音频、语音与语言处理小组(ASLP@NPU)、微软及香港中文大学深圳研究院大数据研究所共同推出的说唱乐生成模型,能直接根据歌词和伴奏创作出说唱音乐。Freestyler基于语言模型生成语义标记,再基于条件流匹配模型产生频谱图,最后用神经声码器转换成音频。Freestyler推出RapBank数据集,支持训练和模型开发,能实现零样本的音色控制,让用户生成具有特定音色的说唱声乐。

Freestyler – 西工大联合微软和香港大学推出的说唱乐生成模型  第1张
(图片来源网络,侵删)
Freestyler – 西工大联合微软和香港大学推出的说唱乐生成模型  第2张
(图片来源网络,侵删)