
MNN-LLM : 移动设备上快速部署LLM模型通用推理引擎 - 知乎
MNN-LLM: A Generic Inference Engine for Fast Large Language Model Deployment on Mobile Devices. 论文地址: https:// dl.acm.org/doi/pdf/10.1 145/3700410.3702126. 源码地址: …
GitHub - alibaba/MNN: MNN is a blazing fast, lightweight deep …
MNN Python API helps ML engineers to easily use MNN to infer, train, and process images, without dipping their toes in C++ code. The Architecture / Precision MNN supported is shown …
深度学习模型部署框架之mnn - CSDN博客
2024年12月31日 · MNN是一个轻量级的深度神经网络推理引擎,在端侧加载深度神经网络模型进行推理预测。目前,MNN已经在阿里巴巴的手机淘宝、手机天猫、优酷等20多个App中使用, …
MNN - 阿里开源的移动端深度学习推理框架 | AI工具集
MNN(Mobile Neural Network)是阿里巴巴集团开源的轻量级深度学习推理框架,为移动端、服务器、个人电脑、嵌入式设备等多种设备提供高效的模型部署能力。
MNN/project/android/apps/MnnLlmApp/README_CN.md at …
MNN-LLM 是一个多功能的推理框架,旨在优化和加速大语言模型在移动设备和本地 PC 上的部署。 通过模型量化、混合存储和硬件特定优化等创新措施,解决高内存消耗和计算成本等挑战 …
MNN示例汇总 - 知乎 - 知乎专栏
MNNKit是基于端上推理引擎MNN提供的系列应用层解决方案,它是由MNN团队在阿里系应用大规模业务实践后的成熟方案,MNNKit主要面向Android/iOS移动应用开发者,使其能快速、方便 …
llm · alibaba/MNN Wiki - GitHub
MNN is a blazing fast, lightweight deep learning framework, battle-tested by business-critical use cases in Alibaba. Full multimodal LLM Android App:[MNN-LLM …
MNN介绍、安装和编译 - CSDN博客
2024年3月30日 · MNN(Mobile Neural Network)是一个轻量级的深度学习框架,专为移动端和嵌入式设备优化。 它支持多种平台,包括iOS、Android、Linux和Windows,以及多种主流模型 …
MNN在大模型端侧部署上的探索 - CSDN博客
2024年11月21日 · 为了在更广泛的设备上部署大模型,MNN团队开发了 MNN-LLM / MNN-Diffusion,合称MNN-Transformer ,支持大语言模型和文生图等AIGC模型,具有如下特性: …
MNN推理引擎框架简介 - 知乎 - 知乎专栏
MNN(Mobile Neural Network)是一个轻量级的 深度神经网络 推理引擎,在端侧加载深度神经网络模型进行推理预测。 目前,MNN已经在阿里巴巴的手机淘宝、手机天猫、优酷等20多 …