WorldSense是小红书和上海交通大学推出的,用在评估多模态大型语言模型(MLLMs)在现实世界场景中对视觉、听觉和文本输入的综合理解能力的基准测试。WorldSense包含1662个音频-视频同步的多样化视频,覆盖8个主要领域和67个细分子类别,及3172个多项选择问答对,涉及26个不同的认知任务。WorldSense强调音频和视频信息的紧密耦合,所有问题都需要用这两种模态得出正确答案。WorldSense高质量的标注由80名专家标注员手动完成,经过多轮验证,确保标注的准确性和可靠性。


WorldSense是小红书和上海交通大学推出的,用在评估多模态大型语言模型(MLLMs)在现实世界场景中对视觉、听觉和文本输入的综合理解能力的基准测试。WorldSense包含1662个音频-视频同步的多样化视频,覆盖8个主要领域和67个细分子类别,及3172个多项选择问答对,涉及26个不同的认知任务。WorldSense强调音频和视频信息的紧密耦合,所有问题都需要用这两种模态得出正确答案。WorldSense高质量的标注由80名专家标注员手动完成,经过多轮验证,确保标注的准确性和可靠性。
全部评论
留言在赶来的路上...
发表评论