MNN-LLM 是一个多功能的推理框架，旨在优化和加速大语言模型在移动设备和本地 PC 上的部署。 通过模型量化、混合存储和硬件特定优化等创新措施，解决高内存消耗和计算成本等挑战。 在 CPU 基准测试中，MNN-LLM 表现优异，其预填充速度比 llama.cpp 快 8.6 倍，比 fastllm 快 20.5 倍，同时解码速度分别快 2.3 倍和 8.9 倍。 在基于 GPU 的评估中，由于 MLC-LLM 的对称量化技术优势，MNN-LLM 的性能在使用 Qwen2-7B 进行较短提示时略有下降。 MNN-LLM 的预填 …

MNN（Mobile Neural Network）是阿里巴巴集团开源的轻量级深度学习推理框架，为移动端、服务器、个人电脑、嵌入式设备等多种设备提供高效的模型部署能力。

2024年12月25日 · 为了在更广泛的设备上部署大模型，MNN团队开发了 MNN-LLM / MNN-Diffusion，合称MNN-Transformer ，支持大语言模型和文生图等AIGC模型，具有如下特性： -支持各类LLM和Diffusion模型，支持加载同时加载多份Lora；不依赖厂商NPU能力，2020年后的手机基本都能跑得动 LLM 小模型。

该项目主要测试MNN框架的使用，具体模型的转换可以去MNN官方查看转换教程。 由于opencv库太大只保留 arm64-v8a/armeabi-v7a 有需要其它版本的自己去官方下载。 AS版本不一样可能编译会有各种问题，如果编译错误无法解决、建议使用AS4.0以上版本尝试一下。 如果缺少模型请从 "android_MNN_Demo\app\src\main\assets" 复制 .mnn 文件到 "iOS_MNN_Demo\MNNDemo\res" 下。 iOS如果opencv2.framework有用到也需要重新下载并替换到工程。 由于MNN不同版本 …

2025年1月27日 · MNN（Mobile Neural Network）是阿里巴巴开发的一个高效、轻量级的深度学习框架，专为移动端设备优化。 MNN不仅能够在移动设备上进行快速推理，还支持多模态任务，包括文本生成、图像生成和音频处理等。 MNN已经被集成到阿里巴巴的多个应用中，如淘宝、天猫、优酷、钉钉和闲鱼等，覆盖了诸如直播、短视频捕捉、搜索推荐和产品图像搜索等超过70种使用场景。 多模态支持：支持文本生成、图像生成、音频处理等多种任务。 CPU推理优化：在移 …

2025年1月1日 · MNN（Mobile Neural Network）是阿里巴巴集团开源的轻量级深度学习推理框架，旨在为移动端、服务器、个人电脑和嵌入式设备提供高效的模型部署能力。 它支持 TensorFlow、Caffe、ONNX 等主流模型格式，兼容 CNN、RNN、GAN 等多种网络结构。

2020年8月2日 · MNN是一个轻量级的深度神经网络推理引擎，在端侧加载深度神经网络模型进行推理预测，端侧可以是手机端或者IOT端，是推动深度学习算法落地的重要工具 MNN特点 轻量性：MNN文件很小，只有几兆，可以方便地部署到移动设备和各种嵌入式设备 通用性：支持 ...

MNN-Converter：模型转换工具，由Frontends和Graph Optimize构成。前者负责支持不同的训练框架，MNN当前支持Tensorflow(Lite)、Caffe、ONNX(PyTorch/MXNet的模型可先转为ONNX模型再转到MNN)和Torchscripts；后者通过算子融合、算子替代、布局调整等方式优化图，一般离线运 …

2024年12月31日 · MNN是阿里开源的针对模型在移动端部署的框架，在模型移植的前期，我们往往需要经历代码调试的过程，而这个过程在PC端进行会比较方便。本文记录在ubuntu上MNN的运行环境配置，以及使用MNN进行推理的主要步骤。

2022年9月7日 · Mnn是一款轻量级的深度学习框架，能够支持多种平台（包括单片机），具有较高的性能和灵活性。在单片机上使用Mnn进行深度学习推理时，需要先将Mnn模型上传到单片机中，并在程序中调用相应的接口进行推理。model.mnn表示转换后的MNN模型。