MNN is a highly efficient and lightweight deep learning framework. It supports inference and training of deep learning models and has industry-leading performance for inference and …

MNN LLM 是MNN开源项目对LLM支持的子模块，它具有以下特点： 多模态支持：支持图片和语音的输入和输出（需要使用多模态模型）。 觉得好用的小伙伴，欢迎Github点个Star哦！ 开源 …

基于MNN开发的LLM推理引擎，支持目前主流的开源LLM模型。 该功能分为2部分： llmexport 是一个llm模型导出工具，能够将llm模型导出为onnx和mnn模型。 clone 后检查一下模型大小， …

在本文中，我们将介绍LLM模型的导出与部署支持与MNN针对LLM端侧CPU推理的性能优化方案。 在将深度学习模型从研究原型转换为实际可部署的产品时，模型导出阶段的顺畅与否对于整个 …

llm deploy project based mnn. This project has merged into MNN. - wangzhaode/mnn-llm

MNN-LLM: A Generic Inference Engine for Fast Large Language Model Deployment on Mobile Devices. 论文地址： https:// dl.acm.org/doi/pdf/10.1 145/3700410.3702126. 源码地址： …

基于MNN开发的LLM推理引擎，支持目前主流的开源LLM模型。该功能分为2部分： 模型导出：将torch模型导出为onnx，然后转换为mnn模型；导出tokenizer文件，embedding等文件； 模型 …

2025年1月30日 · MNN-LLM 是一个多功能的推理框架，旨在优化和加速大语言模型在移动设备和本地 PC 上的部署。 通过模型量化、混合存储和硬件特定优化等创新措施，解决高内存消耗 …

欢迎使用mnn-llm文档 . 遇到问题请先查看文档和FAQ，如果没有答案请在Github提issue或在钉钉群提问。

2025年2月7日 · MNN-LLM App 是阿里巴巴基于 MNN-LLM 框架开源的 Android 手机应用，支持各类大语言模型（LLM）在手机上离线运行。 该应用具备多模态功能，能实现文本生成文本、 …