Baichuan-M1-14B是百川智能推出的行业首个开源医疗增强大模型,医疗能力超越了更大参数量的Qwen2.5-72B,与o1-mini相差无几。专为医疗场景优化,同时具备强大的通用能力。模型基于 20 万亿 token 的高质量医疗与通用数据训练,涵盖 20 多个医疗科室的细粒度专业知识。在医疗推理和知识问答方面表现出色,在医疗场景中,性能可达到比自身参数量大五倍的模型水平。 Baichuan-M1-14B 的核心优势在于创新的模型结构和训练方法。引入了短卷积注意力机制、滑动窗口注意力机制和优化位置编码震荡等技术,提升了上下文理解和长序列任务的表现。模型采用多阶段课程学习和对齐优化方法,通过强化学习优化生成质量和逻辑推理能力。


全部评论
留言在赶来的路上...
发表评论