CAR（Certainty-based Adaptive Reasoning）是字节跳动联合复旦大学推出的自适应推理框架，能提升大型语言模型（LLM）和多模态大型语言模型（MLLM）在不同任务中的推理效率与准确性。框架基于动态地在短答案和长形式推理之间切换，根据模型对答案的置信度（通过困惑度PPL衡量）决定是否需要进行详细推理。当模型对短答案的置信度较低时，CAR会触发长形式推理提高答案的准确性，当置信度较高时，直接输出短答案，节省计算资源和时间。CAR在视觉问答（VQA）和关键信息提取（KIE）等任务中表现突出，在数学等复杂推理任务中展现出良好的性能。
（图片来源网络，侵删）
（图片来源网络，侵删）
全部评论
留言在赶来的路上...
发表评论