Dream-7B是香港大学和华为诺亚方舟实验室联合推出的扩散式推理模型,是目前最强大的开源扩散大语言模型。Dream-7B训练数据涵盖文本、数学和代码,预训练使用5800亿个标记,耗时256小时。Dream-7B在通用、数学、编程等任务上表现优异,与同尺寸的自回归模型(Qwen2.5 7B、LLaMA3 8B)性能相媲美,在某些情况下优于最新的 Deepseek V3 671B。模型用掩码扩散范式,基于双向上下文建模和灵活的可控生成能力,显著提升生成文本的全局连贯性。

Dream-baidu097B – 港大联合华为诺亚方舟开源的扩散推理模型  第1张
(图片来源网络,侵删)