近日来自腾讯的研究团队发表了“MM-LLMs: Recent Advances in MultiModal Large Language Models”详细介绍 多模态大型语言模型 的最新进展，包括MM-LLM的模型架构、训练流程、最新进展以及未来发展方向。

2024年1月24日 · Abstract: In the past year, MultiModal Large Language Models (MM-LLMs) have undergone substantial advancements, augmenting off-the-shelf LLMs to support MM inputs or outputs via cost-effective training strategies. The resulting models not only preserve the inherent reasoning and decision-making capabilities of LLMs but also empower a diverse ...

2024年2月29日 · mm-llms 利用现成的预训练单模态基础模型， 特别是强大的大型语言模型（LLMs）， 作为认知核心，赋予各种多模态任务能力。 LLMs 提供了稳健的语言生成、zero-shot 迁移能力和上下文学习（ICL）等可取特性

模型架构是多模态大型语言模型（MM-LLMs）的核心组成部分，它通常由五个关键组件构成，每个组件都有其特定的功能和实现方式。 以下是这五个组件的详细介绍： 功能：将来自不同模态（如图像、视频、音频等）的输入编码成特征表示。 实现：对于图像，常用的编码器有NFNet-F6、ViT、CLIP ViT和Eva-CLIP ViT。 对于视频，视频通常被均匀采样成5帧图像，然后进行与图像相同的预处理。 音频通常由C-Former、HuBERT、BEATs和Whisper等编码器处理。 3D点云数据 …

We are very proud to launch Video-MME, the first-ever comprehensive evaluation benchmark of MLLMs in Video Analysis! 🌟. It includes short- (< 2min), medium- (4min~15min), and long-term (30min~60min) videos, ranging from 11 seconds to 1 hour. All data are newly collected and annotated by humans, not from any existing video dataset. .

本文综述了多模态大型语言模型（MM-LLMs）的最新进展，这些模型通过cost-effective的训练策略，增强了现成的大型语言模型（LLMs）以支持多模态输入或输出。 这些模型不仅保留了LLMs固有的推理和决策能力，还增强了多种多模态任务的能力。 文章提供了一个全面的调查，旨在促进MM-LLMs的进一步研究。 本文首先概述了模型架构和训练流程的一般设计公式，然后介绍了包含126个MM-LLMs的分类体系，并总结了关键的训练方法，以增强MM-LLMs的效能。 最后，探索了MM …

2024年10月15日 · MM-LMM，全称为Multi-Modal Large Language Model，是一种能够同时处理多种模态数据的大型语言模型。 这种模型不仅可以处理文本，还能够理解和生成图像、语音等其他类型的数据。

2024年3月27日 · 本文是关于论文《MM-LLMs: Recent Advances in MultiModal Large Language Models》的简要介绍。 大型语言模型沿着多模态方向发展成为目前越来越受关注的研究领域，这篇论文从方法角度整理了2022年到2024年2月的经…

2025年2月13日 · • 描述了mm-llms的训练流程，主要包括多模态预训练和多模态指令微调两个阶段。 • 总结分析了26种主流的mm-llms模型，从模型架构、训练数据集规模等多个维度进行了对比。

In the past year, MultiModal Large Language Models (MM-LLMs) have undergone substan-tial advancements, augmenting off-the-shelf LLMs to support MM inputs or outputs via cost-effective training strategies.