Ferret-UI 2是苹果公司推出的多模态大型语言模型,用在理解和交互移动用户界面。Ferret-UI 2能识别和理解各种移动设备屏幕上的UI元素,执行复杂的用户指令,实时观察用户在移动设备屏幕上的操作,随时准备提供帮助和执行任务。Ferret-UI 2相较于早期版本进行了大幅改进和更新。基于高分辨率图像编码和先进的数据训练方法,提升UI元素的识别精度和交互能力,用户能更自然、高效地与智能设备互动。

Ferret-baidu09UI 2 – 苹果推出的跨平台UI理解多模态大语言模型  第1张
(图片来源网络,侵删)
Ferret-baidu09UI 2 – 苹果推出的跨平台UI理解多模态大语言模型  第2张
(图片来源网络,侵删)