MMedAgent是专为医疗领域设计的多模态AI智能体，通过整合各种开源医疗模型来管理多种医疗任务。系统包括一个指令调整的多模态大型语言模型（MLLM），作为行动规划器和结果聚合器，以及一套为代理量身定制的医疗工具集合，每个工具都针对医疗领域的特定任务。MMedAgent能处理包括MRI、CT、X射线等多种医学成像模式，支持临床实践中遇到的多种数据类型。通过理解用户指令和医学影像，生成格式化指令调用特定工具，聚合工具的输出以准确、全面地回复用户。MMedAgent在多个医疗任务上的性能优于现有的开源方法，甚至超过了闭源模型GPT-4o。

MMedAgent – 专为医疗领域设计的多模态AI智能体，管理多种医疗任务 第1张
（图片来源网络，侵删）
MMedAgent – 专为医疗领域设计的多模态AI智能体，管理多种医疗任务 第2张
（图片来源网络，侵删）