2024年1月25日 · 这篇文章将最近的代表性MLLM分成四种类型： Multimodal Instruction Tuning (M-IT)，Multimodal In-Context Learning(M-ICL)， Multimodal Chain-of-Thought (M-CoT)以及LLM-Aided Visual Reasoning(LAVR)。 本文的组织架构是： 介绍M-IT的细节来解释LLM如何在架构和数据上应用于多模态。

多模态大语言模型 （MLLM）是近年来兴起的一个新的研究热点，它利用强大的大语言模型作为大脑来执行多模态任务。 MLLM令人惊讶的新兴能力，如基于图像写故事和无OCR的数学推理，在传统方法中是罕见的，这表明了一条通往人工通用智能的潜在道路。 在本文中，作者旨在追踪和总结MLLM的最新进展。 首先，提出了MLLM的公式，并阐述了其相关概念。 然后，讨论了关键技术和应用，包括 多模态指令调整 （M-IT）、多模态上下文学习（M-ICL）、 多模态思想链 （M …

2024年7月1日 · **大型语言模型（llm）**：llm是mllm的核心，通常是一个预训练的语言模型，负责处理和生成文本。 它能够根据输入的文本和其他模态的特征，进行语言理解、生成或推理等任务。

2024年8月1日 · 掩码语言模型（mlm）是一种预训练技术，主要用于训练深度学习模型以理解自然语言。 其核心思想是在输入文本中随机遮蔽（或掩码）一部分单词，然后让模型预测这些被遮蔽的单词。

2024年7月2日 · 最近，以GPT-4V为代表的多模态大型语言模型（MLLM）已成为新兴的研究热点，它使用强大的大型语言模型（LLMs）作为“大脑”来执行多模态任务。 MLLM出人意料的涌现能力，如基于图像编写故事和无需OCR的数学推理，是传统多模态方法中罕见的，这表明了一条通往人工通用智能的潜在路径。 为此，学术界和工业界都致力于开发能够与GPT-4V竞争甚至超越的MLLM，以惊人的速度推动研究的极限。 在本文中，我们旨在追踪并总结MLLM的最新进展。 …

2023年4月30日 · The mlm parameter in the DataCollatorForLanguageModeling class is a boolean flag that indicates whether you want to train a masked language model (MLM) or a causal language model (CLM).

2024年7月31日 · 掩码语言模型（Masked Language Model，MLM）是自然语言处理（NLP）中一种重要的预训练任务，尤其在基于深度学习的语言模型中被广泛使用。它是一种自监督学习技术，让模型学习语言的语义和语法规则。

LLaVA主要由三部分组成： Pretrained LLM，Pretrained Vision Encoder和 Projection Layers。 其中，Pretrianed LLM即为目前比较火的Decoder-only language model，比如LLaMA，LLaMA-2等。 Pretrained Vision Encoder即为一个预训练的视觉编码器，通常是CLIP的中的视觉分支。 而连接在vison encoder和LLM之间的Projection Layers即为一个简单的线形层，这个projector的作用是将image通过vision encoder得到的visual feature从visual space转化到language space从而可以 …

2024年1月29日 · 这篇论文系统性总结了目前 多模态大语言模型 (MM-LLMs)的研究进展。 >> 概述了MM-LLMs的设计形式，将模型架构分为 5个部分：模态编码器、输入投影器、 语言模型 骨干、输出投影器和模态生成器。 阐述了每一部分的实现选择。 >> 描述了MM-LLMs的训练流程，主要包括多模态 预训练 和多模态 指令调整两个阶段。 >> 总结分析了 26种主流 的MM-LLMs模型，从模型架构、训练数据集规模等多个维度进行了对比。 >> 综合回顾了主要MM-LLMs在 18个广泛 …

2024年1月24日 · In the past year, MultiModal Large Language Models (MM-LLMs) have undergone substantial advancements, augmenting off-the-shelf LLMs to support MM inputs or outputs via cost-effective training strategies.