MetaMorph – 统一多模态理解与生成大模型，基于VPiT 预测多模态 token

baidu09_com 2025-08-30 9 0

MetaMorph是多模态大模型（MLLM），通过指令微调（Instruction Tuning）实现视觉理解和生成。它提出了一种名为Visual-Predictive Instruction Tuning（VPiT）的方法，使得预训练的大型语言模型（LLM）能够快速转变为一个统一的自回归模型，能生成文本和视觉token。MetaMorph模型在视觉理解和视觉生成基准上都取得了有竞争力的表现，能基于从LLM预训练中获得的世界知识和推理能力，在视觉生成过程中克服其他生成模型常见的失败模式。研究表明，LLM可能具有强大的“先验”视觉能力，这些能力可以通过相对简单的指令调整过程被高效地适应于视觉理解和生成。