AVD2(Accident Video Diffusion for Accident Video Description)是清华大学联合香港科技大学、吉林大学、南京理工大学、北京理工大学、复旦大学等机构推出的,用在自动驾驶事故视频理解的创新框架。基于生成与详细自然语言描述和推理对齐的事故视频,显著提升对复杂事故场景的理解能力。AVD2结合视频生成和事故分析系统,能生成包含事故描述、原因分析和预防措施的高质量视频内容。基于AVD2,研究者们创建了EMM-AU(Enhanced Multi-Modal Accident Video Understanding)数据集,为事故分析和预防提供强大的数据支持。实验结果表明,AVD2在自动评估指标和人工评估中均表现出色,为自动驾驶的安全性和可靠性树立新的基准。

AVD2 – 清华联合复旦等机构推出的自动驾驶事故视频理解与生成框架  第1张
(图片来源网络,侵删)
AVD2 – 清华联合复旦等机构推出的自动驾驶事故视频理解与生成框架  第2张
(图片来源网络,侵删)