MnnLlmApp 是阿里巴巴基于 MNN-LLM 框架开源的 Android 手机应用,支持各类大语言模型(LLM)在手机上离线运行。具备多模态功能,能实现文本生成文本、图像生成文本、音频转文本以及等多种任务。应用对 CPU 推理进行了深度优化,预填充速度和解码速度均显著优于同类产品,确保高效的本地运行。 MnnLlmApp 支持多种主流模型,如 Qwen、Gemma、Llama 等,用户可以根据需要选择不同的模型进行任务处理。

MnnLlmApp – 阿里巴巴开源的离线大模型 Android 手机应用AI助手  第1张
(图片来源网络,侵删)
MnnLlmApp – 阿里巴巴开源的离线大模型 Android 手机应用AI助手  第2张
(图片来源网络,侵删)