2024年4月11日 · Vision language models are models that can learn simultaneously from images and texts to tackle many tasks, from visual question answering to image captioning.

2025年1月21日 · 多模态 AI 的一个令人兴奋的应用是视觉语言模型 (VLM)。 这些模型可以同时处理和理解语言（文本）和视觉（图像）的模态，以执行高级视觉语言任务，例如视觉问答 (VQA)、图像字幕和文本到图像搜索。 在本文中，您将了解： VLM 架构。 VLM 评估策略。 用于开发视觉语言模型的主流数据集。 VLM 面临的主要挑战、主要应用和未来趋势。 让我们首先了解什么是视觉语言模型。 什么是视觉语言模型？ 视觉语言模型是视觉和自然语言模型的融合。 它将图像 …

2024年5月20日 · VLMEvalKit 是一个工具包，用于在支持 Open VLM Leaderboard 的视觉语言模型上运行基准测试。 另一个评估套件是 LMMS-Eval，它提供了一个标准命令行界面，可以使用托管在 Hugging Face Hub 上的数据集来评估你选择的 Hugging Face 模型，如下所示：

目前主流的以CLIP为典型代表的Vision-Language Model (VLM)预训练方法可以大致分为3个关键模块： 文本特征提取模块，通常采用Transformer结构及其一系列变体作为基础结构。

2024年7月22日 · 本文详细介绍了多模态视觉语言模型（VLM）的不同方法，包括基于对比学习的VLMs（如CLIP）、基于mask的VLMs（如FLAVA和MaskVLM）以及基于生成的VLM。 讨论了VLMs的信息理论视角，解释了如何通过对比、掩蔽和生成策略来训练模型。

从信息论的角度理解VLMs，可以将VLMs模型视为一个信息率失真函数（rate-distortion problem），目标是减少多余信息，最大化predictive information。 做了masking或者其他数据增强都可以视为一种data transformation，从这个角度看，对比损失与auto-encoding loss都可以视为失真的表现，失真率取决于使用的data transformation. 本人理解：auto-encoding即为对data进行必要信息（最小信息）保留、提取，再经过f (x)进行数据重建（不是特别能理解这一块的表达，如 …

2024年5月27日 · To better understand the mechanics behind mapping vision to language, we present this introduction to VLMs which we hope will help anyone who would like to enter the field. First, we introduce what VLMs are, how they work, and how to train them. Then, we present and discuss approaches to evaluate VLMs.

2024年11月7日 · VLMs（视觉语言模型）则是将语言处理和视觉处理结合起来的复合AI系统，它们可以理解和处理多种数据类型，包括文本、图像、视频和音频。 VLMs的核心是三个主要组件：语言模型（LLM）、图像编码器和适配器。 图像编码器负责处理图像，将其转换成模型可以理解的形式。 适配器作为中介，使图像编码器和语言模型能够协同工作。 这种架构通过适配器将图像信息融入到语言模型中，从而实现多模态的理解和处理。 训练VLMs的过程分为预训练和对齐两个 …

In this paradigm, a vision-language model (VLM) is pre-trained with large-scale image-text pairs that are almost infinitely available on the internet, and the pre-trained VLM can be directly applied to downstream visual recognition tasks without fine-tuning as illustrated in Fig. 2 (c).

2023年2月3日 · A vision-language model typically consists of 3 key elements: an image encoder, a text encoder, and a strategy to fuse information from the two encoders. These key elements are tightly coupled together as the loss functions are designed around both the model architecture and the learning strategy.