ScreenAgent是一个由吉林大学人工智能学院的研究团队开发的计算机控制智能体，该智能体是基于视觉语言模型（VLM）构建的，能够与真实计算机屏幕进行交互。研究人员构建了一个包含“计划-执行-反思”的运行流程，以引导智能体与计算机屏幕进行持续性的交互。ScreenAgent的核心功能是通过观察屏幕截图，并输出相应的鼠标和键盘动作来操纵图形用户界面（GUI），从而执行多步骤的复杂任务。

ScreenAgent – 基于视觉语言模型的计算机控制智能体 第1张
（图片来源网络，侵删）
ScreenAgent – 基于视觉语言模型的计算机控制智能体 第2张
（图片来源网络，侵删）