LIMO(Less Is More for Reasoning)是上海交通大学研究团队提出的高效推理方法,通过极少量高质量的训练样本激活大语言模型(LLM)的复杂推理能力。核心假设是在预训练阶段已经具备丰富知识基础的模型中,复杂的推理能力可以通过少量但精心设计的训练样本被有效激活。 LIMO仅使用817个训练样本,在多个数学推理基准测试中取得显著的性能提升。

LIMO – 上海交大推出的高效推理方法,仅需817条训练样本  第1张
(图片来源网络,侵删)
LIMO – 上海交大推出的高效推理方法,仅需817条训练样本  第2张
(图片来源网络,侵删)