Dream-7B是香港大学和华为诺亚方舟实验室联合推出的扩散式推理模型,是目前最强大的开源扩散大语言模型。Dream-7B训练数据涵盖文本、数学和代码,预训练使用5800亿个标记,耗时256小时。Dream-7B在通用、数学、编程等任务上表现优异,与同尺寸的自回归模型(Qwen2.5 7B、LLaMA3 8B)性能相媲美,在某些情况下优于最新的 Deepseek V3 671B。模型用掩码扩散范式,基于双向上下文建模和灵活的可控生成能力,显著提升生成文本的全局连贯性。

Dream-7B是香港大学和华为诺亚方舟实验室联合推出的扩散式推理模型,是目前最强大的开源扩散大语言模型。Dream-7B训练数据涵盖文本、数学和代码,预训练使用5800亿个标记,耗时256小时。Dream-7B在通用、数学、编程等任务上表现优异,与同尺寸的自回归模型(Qwen2.5 7B、LLaMA3 8B)性能相媲美,在某些情况下优于最新的 Deepseek V3 671B。模型用掩码扩散范式,基于双向上下文建模和灵活的可控生成能力,显著提升生成文本的全局连贯性。
全部评论
留言在赶来的路上...
发表评论