2025年2月3日 · 我们提出了DeepSeek-VL，这是一个开源的视觉-语言（VL）模型，专为真实世界的视觉和语言理解应用而设计。 我们的方法围绕三个关键维度展开： - 数据构建：我们致力于确保数据的多样性、可扩展性，并广泛覆盖真实场景，包括 网页截图 、 PDF 、 OCR 、 图表 以及 基于知识的内容（专家知识、教科书），旨在全面反映实际应用场景。 此外，我们从真实用户场景中创建用例分类，并据此构建指令微调数据集。 通过该数据集的微调，模型在实际应用中的用 …

阔别九月，大家期待的 DeepSeek-VL2 终于来了！ DeepSeek- MoE 架构 配合动态切图，视觉能力再升级。 从视觉定位到梗图解析，从 OCR 到故事生成，从 3B、16B 再到 27B，DeepSeek-VL2 正式开源。 模型和论文均已发布： 测评结果. DeepSeek-VL2 模型展现出了符合我们预期的强大能力，在各项评测指标上均取得了极具优势的成绩： DeepSeek-VL2 仅使用一个 SigLIP-SO400M 作为图像编码器，通过将图像切分为多张子图和一张全局缩略图来实现动态分辨率图像支持。 …

2024年12月13日 · Introducing DeepSeek-VL2, an advanced series of large Mixture-of-Experts (MoE) Vision-Language Models that significantly improves upon its predecessor, DeepSeek-VL. DeepSeek-VL2 demonstrates superior capabilities across various tasks, including but not limited to visual question answering, optical character recognition, document/table/chart ...

2023年9月20日 · Qwen-VL是一个预训练模型,通过视觉编码器的连接,它扩展了Qwen-7B (Qwen, 2023)语言模型的视觉能力。 经过三阶段训练后,Qwen-VL能够感知和理解多层次的视觉信号。 此外,如图2所示,基于Qwen-VL的Qwen-VL-Chat是一个交互式的视觉语言模型,使用对齐机制,支持更灵活的交互,如多图像输入、多轮对话和定位能力。 具体来说,Qwen-VL系列模型的特点包括: - 强大的性能:在相同规模模型下,它在多个评估基准测试 (包括零样本字幕、VQA、DocVQA和定位)上 …

2023年8月22日 · Qwen-VL (Qwen Large Vision Language Model) is the multimodal version of the large model series, Qwen (abbr. Tongyi Qianwen), proposed by Alibaba Cloud. Qwen-VL accepts image, text, and bounding box as inputs, outputs text, and …

2024年8月27日 · 翻了几篇比较知名的开源VLM技术报告，感觉DeepSeek-VL算是写的比较好的，因此本文就以DeepSeek-VL为例，结合代码写一写VLM的细节。 VLM和LLM比较共性的东西比如Self Attention之类的本文就不过多介绍了，重点讲一讲VLM独有的内容。

2024年5月26日 · 本文首先在引言中强调了一下OpenAI兼容API的重要性，希望引起读者重视，其次介绍了Qwen-VL的原理与模型结构，最后简要讲了下FastAPI以及搭配组件，并基于FastAPI封装了OpenAI兼容API的Qwen-VL大模型服务端接口，并给出了客户端实现。本文内容在工作中非常实 …

2024年5月20日 · Open VLM Leaderboard 是另一个排行榜，其中根据这些指标和平均分数对各种视觉语言模型进行排名。 你还可以根据模型大小、专有或开源许可证筛选模型，并根据不同的指标进行排名。 VLMEvalKit 是一个工具包，用于在支持 Open VLM Leaderboard 的视觉语言模型上运行基准测试。 另一个评估套件是 LMMS-Eval，它提供了一个标准命令行界面，可以使用托管在 Hugging Face Hub 上的数据集来评估你选择的 Hugging Face 模型，如下所示： Vision Arena …

2024年11月26日 · SmolVLM is small, fast, memory-efficient, and fully open-source. All model checkpoints, VLM datasets, training recipes and tools are released under the Apache 2.0 license. What is SmolVLM? This year has seen a boom in multimodal AI with many large vision language models released.

2024年12月13日 · We present DeepSeek-VL2, an advanced series of large Mixture-of-Experts (MoE) Vision-Language Models that significantly improves upon its predecessor, DeepSeek-VL, through two key major upgrades....