WorldPM(World Preference Modeling)是阿里巴巴集团的Qwen团队和复旦大学推出的偏好建模模型系列。基于大规模训练揭示偏好模型的可扩展性。模型基于1500万条偏好数据进行训练,发现偏好模型在客观领域表现出明显的幂律下降趋势,在主观领域则因多维度特性难以呈现单一的扩展趋势。项目提供72B规模的基础模型和多个针对特定数据集微调的版本,WorldPM-72B-HelpSteer2适用于需要精确偏好判断的特定任务,WorldPM-72B-UltraFeedback适合处理大规模用户反馈场景,WorldPM-72B-RLHFLow专为低资源偏好建模设计,适合数据量较少的场景。支持基于Hugging Face快速使用。WorldPM为自然语言处理中的对话系统、推荐系统等任务提供了强大的偏好建模能力,助力相关领域的发展。


全部评论
留言在赶来的路上...
发表评论