OmniAlign-V 是上海交通大学、上海AI Lab、南京大学、复旦大学和浙江大学联合推出的专为提升多模态大语言模型（MLLMs）与人类偏好的对齐能力设计的高质量数据集。OmniAlign-V包含约20万个多模态训练样本，涵盖自然图像和信息图表，结合开放式、知识丰富的问答对。OmniAlign-V 的设计注重任务的多样性，包括知识问答、推理任务和创造性任务，基于复杂问题和多样化回答格式提升模型的对齐能力。OmniAlign-V 引入图像筛选策略，确保语义丰富且复杂的图像被用于数据生成。
PC Agent是上海交通大学和Generative AI Research Lab (GAIR 联合推出的先进AI系统。系统基于模拟人类认知过程，执行如组织研究材料、起草报告和创建演示文稿等复杂数字工作。PC Agent集...
MT-Color是上海交通大学联合哔哩哔哩推出的基于扩散模型的可控图像着色框架，基于用户提供的实例感知文本和掩码实现精确的实例级图像着色。框架基于像素级掩码注意力机制防止色彩溢出，用实例掩码和文本引导模块解决色彩绑定错误问题...
MM-StoryAgent 是上海交通大学X-LANCE实验室和阿里巴巴集团联合推出的开源、多模态、多智能体框架，用在生成沉浸式的有声故事绘本视频。基于结合大型语言模型（LLMs）和多种模态的生成工具（如文本、图像、音频），...
ML-Master是上海交通大学人工智能学院Agents团队推出AI专家智能体。在OpenAI的权威基准测试MLE-bench中表现出色，以29.3%的平均奖牌率位居榜首，超越了微软的RD-Agent和OpenAI的AIDE...
MATRIX-Gen是上海交通大学和牛津大学研究团队推出的多智能体模拟系统，基于模拟1000多个具有独立身份和人格的AI智能体组成的社会，生成多样化且高质量的训练指令数据。训练指令数据用在大型语言模型（LLMs）的后训练，提...
LIMO（Less Is More for Reasoning）是上海交通大学研究团队提出的高效推理方法，通过极少量高质量的训练样本激活大语言模型（LLM）的复杂推理能力。核心假设是在预训练阶段已经具备丰富知识基础的模型中，...
EDTalk是上海交通大学联合网易研发的音频驱动唇部同步模型，能实现对嘴型、头部姿态和情感表情的独立操控。只需上传一张图片、一段音频和参考视频，就能驱动图片中的人物说话，支持自定义情感，如高兴、愤怒、悲伤等。...
ICML（International Conference on Machine Learning）是机器学习领域的顶级学术会议之一，白度白读百度baidu09由国际机器学习学会（IMLS）主办，被中国计算机学会认定为A类会...
全部评论
留言在赶来的路上...
发表评论