Seer是由上海AI实验室、北京大学计算机科学与技术学院、北京大学软件与微电子学院等机构联合推出的端到端操作模型，实现机器人视觉预测与动作执行的高度协同。模型结合历史信息和目标信号（如语言指令），预测未来时刻的状态，用逆动力学模型生成动作信号。Seer基于Transformer的结构，处理多模态输入数据，有效融合视觉、语言和机器人本体信号。在真实机器人任务中，Seer的操作成功率较当前Sota提升43%，且在多种复杂场景下表现出优异的泛化能力。Seer在控制算法测试基准CALVIN ABC-D Benchmark中，Seer的平均任务完成长度达4.28，综合领先同类模型。

Seer – 上海 AI Lab 联合北大等机构推出的端到端操作模型 第1张
（图片来源网络，侵删）
Seer – 上海 AI Lab 联合北大等机构推出的端到端操作模型 第2张
（图片来源网络，侵删）