MNN-LLM: A Generic Inference Engine for Fast Large Language Model Deployment on Mobile Devices. 论文地址： https:// dl.acm.org/doi/pdf/10.1 145/3700410.3702126. 源码地址： https:// github.com/alibaba/MNN. 运行文档： 大语言模型 - MNN-Doc 2.1.1 documentation. 文章发表在MMAsia'24: ACM Multimedia Asia Workshops会议 ...

MNN Python API helps ML engineers to easily use MNN to infer, train, and process images, without dipping their toes in C++ code. The Architecture / Precision MNN supported is shown below: S ：Support and work well, deeply optimized, recommend to use; A ：Support and work well, can use; B ：Support but has bug or not optimized, no recommend ...

2024年12月31日 · MNN是一个轻量级的深度神经网络推理引擎，在端侧加载深度神经网络模型进行推理预测。目前，MNN已经在阿里巴巴的手机淘宝、手机天猫、优酷等20多个App中使用，覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景。此外，IoT ...

MNN（Mobile Neural Network）是阿里巴巴集团开源的轻量级深度学习推理框架，为移动端、服务器、个人电脑、嵌入式设备等多种设备提供高效的模型部署能力。

MNN-LLM 是一个多功能的推理框架，旨在优化和加速大语言模型在移动设备和本地 PC 上的部署。 通过模型量化、混合存储和硬件特定优化等创新措施，解决高内存消耗和计算成本等挑战。 在 CPU 基准测试中，MNN-LLM 表现优异，其预填充速度比 llama.cpp 快 8.6 倍，比 fastllm 快 20.5 倍，同时解码速度分别快 2.3 倍和 8.9 倍。 在基于 GPU 的评估中，由于 MLC-LLM 的对称量化技术优势，MNN-LLM 的性能在使用 Qwen2-7B 进行较短提示时略有下降。 MNN-LLM 的预填 …

MNNKit是基于端上推理引擎MNN提供的系列应用层解决方案，它是由MNN团队在阿里系应用大规模业务实践后的成熟方案，MNNKit主要面向Android/iOS移动应用开发者，使其能快速、方便地将通用场景的AI能力直接部署到移动应用中，从而基于它开发各种各样的业务能力和 ...

MNN is a blazing fast, lightweight deep learning framework, battle-tested by business-critical use cases in Alibaba. Full multimodal LLM Android App:[MNN-LLM-Android](./apps/Android/MnnLlmChat/READ...

2024年3月30日 · MNN（Mobile Neural Network）是一个轻量级的深度学习框架，专为移动端和嵌入式设备优化。 它支持多种平台，包括iOS、Android、Linux和Windows，以及多种主流模型格式，如TensorFlow、Caffe和ONNX。 轻量性：无任何依赖，易于部署到移动设备和嵌入式设备中。 通用性：支持多种网络类型和模型格式。 高性能：不依赖第三方计算库，通过手写汇编优化核心运算。 易用性：提供高效的图像处理模块，支持网络运行中的回调机制。 这将安装MNN库，使 …

2024年11月21日 · 为了在更广泛的设备上部署大模型，MNN团队开发了 MNN-LLM / MNN-Diffusion，合称MNN-Transformer ，支持大语言模型和文生图等AIGC模型，具有如下特性： 支持各类LLM和Diffusion模型，支持加载同时加载多份Lora；不依赖厂商NPU能力，2020年后的手机基本都能跑得动 LLM 小模型。

MNN（Mobile Neural Network）是一个轻量级的 深度神经网络 推理引擎，在端侧加载深度神经网络模型进行推理预测。 目前，MNN已经在阿里巴巴的手机淘宝、手机天猫、优酷等20多个App中使用，覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景。 此外，IoT等场景下也有若干应用。 图 1：MNN概述图. 2. MNN整体方案. 图 2：MNN框架. 由上图所示，MNN基本的工作流由两部分组成，即Offline Conversion和On-device Inference。 …