OmniVision是紧凑的多模态模型，拥有968M参数，专为边缘设备优化。OmniVision能处理视觉和文本输入，基于LLaVA架构改进，显著减少图像token数量，降低延迟和计算成本。基于可信数据进行DPO训练，OmniVision提供更可靠的结果，适于视觉问答和图像描述等任务。
（图片来源网络，侵删）
（图片来源网络，侵删）
上一篇
OmniVision – 专为边缘设备优化的最小参数多模态模型
猜你喜欢
-
发布了文章 16秒前
PixArt-baidu09Σ – 华为推出的可生成4K高清图像的文生图模型
PixArt-Σ是由来自华为诺亚方舟实验室、大连理工大学和香港大学的研究人员推出的一个基于扩散Transformer架构（DiT）的文生图模型，专门设计用于从文本提示直接生成可达4K分辨率的高质量图像。...
-
发布了文章 2分钟前
Pix2Gif – 微软推出的静态图像转动态GIF的扩散模型
Pix2Gif是由微软研究院的研究人员提出的一个基于运动引导的扩散模型，专门用于将静态图像转换成动态的GIF动画/视频。该模型通过运动引导的扩散过程来实现图像到GIF的生成，利用文本描述和运动幅度提示作为输入，来引导图像内容...
-
发布了文章 5分钟前
Pippo – Meta 推出的单图生成多视角高清人像视频模型
Pippo是Meta Reality Labs推出的图像到视频生成模型，能从单张照片生成1K分辨率的多视角高清人像视频。模型基于多视角扩散变换器，预训练了30亿张人像图像，在2500张工作室捕捉的图像上进行了后训练。...
-
发布了文章 5分钟前
Pipecat – 构建语音和多模态对话代理的开源框架
Pipecat是开源的Python框架，专注于构建语音和多模态对话代理。基于内置的语音识别、文本转语音（TTS）和对话处理功能，简化AI服务的复杂协调、网络传输、音频处理和多模态交互，让开发者能专注于创造引人入胜的用户体验。...
-
发布了文章 8分钟前
Piece it Together – Bria AI等机构推出的图像生成框架
Piece it Together （PiT）是Bria AI等机构推出的创新图像生成框架，专门用在从部分视觉组件生成完整的概念图像。基于特定领域的先验知识，将用户提供的碎片化视觉元素无缝整合到连贯的整体中，智能补充缺失的部...
-
发布了文章 11分钟前
PhysGen3D – 清华等高校联合推出的单图创建交互式 3D 场景
PhysGen3D 是创新的框架，能将单张图像转换为交互式的 3D 场景，生成具有物理真实感的视频。结合了基于图像的几何和语义理解以及基于物理的模拟，通过从单张图像中推断物体的 3D 形状、姿态、物理和光照属性，创建出以图像...
-
发布了文章 14分钟前
PhotoPrism – 开源的AI照片管理工具，AI驱动的照片分类和搜索功能
PhotoPrism 是一个开源的AI照片管理工具，用 Go 语言编写，旨在为用户提供一个去中心化的照片存储和组织解决方案。支持用户在自己的硬件上运行，完全控制自己的数据，不依赖于云服务提供商。...
-
发布了文章 14分钟前
PhotoMaker V2 – 腾讯推出的AI图像生成框架
PhotoMaker V2是腾讯推出的AI图像生成框架，能在极短的时间内生成逼真的人物照片。与初代相比，V2版本在角色的一致性和可控性上实现了显著提升，用户可以通过文本指令精确控制生成结果。...
全部评论
留言在赶来的路上...
发表评论