Building on MiniMax-Text-01's prowess, we developed MiniMax-VL-01 for enhanced visual capabilities. It uses the “ViT-MLP-LLM” framework common in multimodal LLMs. It is initialized and trained using three key components: a 303-million-parameter Vision Transformer (ViT) for visual encoding, a randomly initialized two-layer MLP projector for ...

MiniMax is a leading global technology company and one of the pioneers of large language models (LLMs) in Asia. Our mission is to build a world where intelligence thrives with everyone.

自 2023 年 11 月至今，MiniMax 语音大模型已服务超过 2000 家企业用户，为语言学习、PC语音助手、语音声聊唱聊、超拟人情感配音等十余种场景提供落地解决方案。

2025年1月14日 · Our vision-language model, MiniMax-VL-01 is built through continued training with 512 billion vision-language tokens. Experiments on both standard and in-house benchmarks show that our models match the performance of state-of-the-art models like GPT-4o and Claude-3.5-Sonnet while offering 20-32 times longer context window.

The model is initialized and trained with three key parts: a 303-million-parameter Vision Transformer (ViT) for visual encoding, a randomly initialized two-layer MLP projector for image adaptation, and the MiniMax-Text-01 as the base LLM. MiniMax-VL-01 has a notable dynamic resolution feature.

2025年1月15日 · MiniMax 的 Lightning Attention 便是一种线性注意力。 通过使用线性注意力，原生 Transformer 的计算复杂度可从二次复杂度大幅下降到线性复杂度，如下图所示。 MiniMax 的相关技术报告中写道，这主要是得益于一种右边积核技巧（right product kernel trick）。 以 2022 年论文《The Devil in Linear Transformer》中的 TransNormer 为例，下图左侧的 NormAttention 机制可转换成使用「右侧矩阵乘法」的线性变体。 而 Lightning Attention 便是基于 …

性能：MiniMax-Text-01 和 MiniMax-VL-01 在标准学术基准测试中达到了与顶尖商业模型相当的性能，同时提供了 20-32 倍的上下文窗口。 线性注意力 ：大规模实验首次验证了线性注意力的有效性，虽然纯线性注意力模型在检索能力方面有所欠缺，但混合线性注意力模型 ...

2025年1月21日 · MiniMax-VL-01架构遵循"ViT-MLP-LLM"范式，这一范式已被众多多模态大语言模型(MLLM)广泛采用。该架构包含三个主要组件： 用于视觉编码的303M参数的ViT; 随机初始化的两层MLP投影器，用于图像适配; 作为基础大语言模型的MiniMax-Text-01

MiniMax-01采用了混合架构，结合了闪电注意力和softmax注意力，并通过专家混合（MoE）架构最大化参数和计算能力，最终实现了在单台机器上处理超过100万token的能力。 2. 模型架构. MiniMax-01的架构设计旨在在有限的资源下实现最佳性能，并更好地处理长序列。

2024年10月29日 · 在这篇文章中，我们将深入了解如何设置和使用 Minimax 的不同功能，包括大语言模型（LLM）、聊天模型和文本嵌入模型。 ## 主要内容 ### 安装和设置 要开始使用 Minimax 的 API，首先需要获得一个 API 密钥和一个组 ID。