Building on MiniMax-Text-01's prowess, we developed MiniMax-VL-01 for enhanced visual capabilities. It uses the “ViT-MLP-LLM” framework common in multimodal LLMs. It is initialized …

MiniMax is a leading global technology company and one of the pioneers of large language models (LLMs) in Asia. Our mission is to build a world where intelligence thrives with everyone.

自 2023 年 11 月至今，MiniMax 语音大模型已服务超过 2000 家企业用户，为语言学习、PC语音助手、语音声聊唱聊、超拟人情感配音等十余种场景提供落地解决方案。

2025年1月14日 · Our vision-language model, MiniMax-VL-01 is built through continued training with 512 billion vision-language tokens. Experiments on both standard and in-house …

The model is initialized and trained with three key parts: a 303-million-parameter Vision Transformer (ViT) for visual encoding, a randomly initialized two-layer MLP projector for image …

2025年1月15日 · MiniMax 的 Lightning Attention 便是一种线性注意力。 通过使用线性注意力，原生 Transformer 的计算复杂度可从二次复杂度大幅下降到线性复杂度，如下图所示。 MiniMax …

性能：MiniMax-Text-01 和 MiniMax-VL-01 在标准学术基准测试中达到了与顶尖商业模型相当的性能，同时提供了 20-32 倍的上下文窗口。 线性注意力 ：大规模实验首次验证了线性注意力的 …

2025年1月21日 · MiniMax-VL-01架构遵循"ViT-MLP-LLM"范式，这一范式已被众多多模态大语言模型(MLLM)广泛采用。该架构包含三个主要组件： 用于视觉编码的303M参数的ViT; 随机初始 …

MiniMax-01采用了混合架构，结合了闪电注意力和softmax注意力，并通过专家混合（MoE）架构最大化参数和计算能力，最终实现了在单台机器上处理超过100万token的能力。 2. 模型架构. …

2024年10月29日 · 在这篇文章中，我们将深入了解如何设置和使用 Minimax 的不同功能，包括大语言模型（LLM）、聊天模型和文本嵌入模型。 ## 主要内容 ### 安装和设置 要开始使用 …