NoteLLM 是小红书推出的针对笔记推荐的多模态大型语言模型框架。NoteLLM 基于生成笔记的压缩嵌入和自动生成标签类别，用大型语言模型（LLM）的强大语义理解能力，结合对比学习和指令微调技术，提升笔记推荐的准确性和相关性。NoteLLM-2 在NoteLLM基础上引入多模态输入，基于端到端微调策略，结合视觉编码器和 LLM，解决视觉信息被忽视的问题。NoteLLM-2 提出多模态上下文学习（mICL）和晚期融合（late fusion）两种机制，进一步增强多模态表示能力，显著提升多模态推荐任务的性能。框架在小红书平台上展示强大的推荐能力，已应用在实际推荐系统中。

NoteLLM – 小红书推出的笔记推荐多模态大模型框架 第1张
（图片来源网络，侵删）
NoteLLM – 小红书推出的笔记推荐多模态大模型框架 第2张
（图片来源网络，侵删）