FakeShield是北京大学研究人员推出的多模态大型语言模型框架,能检测和定位图像伪造。框架能评估图像的真实性,生成被篡改区域的掩码,提供基于像素级和图像级篡改线索的判断依据。FakeShield用GPT-4o增强现有数据集,创建多模态篡改描述数据集(MMTDSet),用在训练篡改分析能力。FakeShield包含两个关键模块:领域标签引导的可解释伪造检测模块(DTE-FDM)和多模态伪造定位模块(MFLM),分别负责检测和定位任务。FakeShield在多种篡改技术如Photoshop、DeepFake和AIGC编辑的检测和定位上表现出色,提供可解释且优于传统方法的解决方案。

FakeShield – 北大推出检测图像伪造的多模态大语言模型框架  第1张
(图片来源网络,侵删)
FakeShield – 北大推出检测图像伪造的多模态大语言模型框架  第2张
(图片来源网络,侵删)