端到端大模型2.0 - VLA (Vision Language Action) 是一种先进的多模态机器学习模型，它结合了视觉、语言和动作三种能力，旨在实现从感知输入直接映射到机器人控制动作的完整闭环能力。 这一技术的发展标志着自动驾驶和其他智能系统向更加自主化迈进的重要一步。 VLA模型被开发用于解决 具身智能 中的指令跟随任务。 与以ChatGPT为代表的聊天AI不同，具身智能需要控制物理实体并与环境交互。 机器人是具身智能最突出的领域。 在语言为条件的机器人任务中，策略必须 …

在本文中，研究了 VLA 模型的训练范式，并提出了 UP-VLA（Unified VLA），这是一种结合多模态理解和未来预测目标的统一 VLA 模型训练方法，旨在同时增强高层语义理解和低层空间理解能力。

2024年7月8日 · 为了开始加载和运行OpenVLA模型进行推理，我们提供了一个轻量级的接口，该接口利用 HuggingFace Transformer AutoClasses，具有最小的依赖性。 例如，要在带有WidowX机器人的BridgeData V2环境中为以下零样本指令加载openvla-7b：

2025年2月12日 · 视觉语言模型（vlm）和视觉语言动作模型（vla）是近年来在人工智能领域内取得显著进展的两个概念，它们的发展历程反映了多模态学习的进步，特别是在结合视觉、语言和机器人动作方面。

3 天之前 · 通过基于VLM构建他们的模型，继承了语言和视觉-语言模型的通用知识、语义推理和问题解决能力. 其次， 进一步训练他们的模型以整合机器人动作，使其成为一个视觉-语言-动作 (VLA)模型。 为了能够利用多种不同的机器人数据源，作者采用跨化身训练 [10]，将多种机器人类型的数据合并到同一个模型中. we use an action chunking architecture [57] with flow matching (a variant of diffusion) t o represent complex continuous action distributions [28, 32].

2024年12月27日 · GRAPE 将逐步训练的 VLA 模型扩展到轨迹级别，并通过强化学习（RL）目标进行训练，确保对齐后的策略能够优先选择被接受的轨迹，而非被拒绝的轨迹。 具体而言，我们基于 DPO 的 Loss 函数进行了改进，引入了一种全新的 TPO_Loss，使得模型能够学习轨迹级别的偏 …

2025年2月27日 · VLA，即Vision-Language-Action模型，是一种将视觉输入（Vision）、语言推理（Language）与动作输出（Action）端到端融合的智能驾驶方案。 核心在于通过大模型技术，直接从摄像头、导航等输入信号生成车辆的控制指令（如速度与轨迹），摒弃了传统自动驾驶系统中感知、规划、控制的模块化分工。 正如Google Deepmind的RT-2所展示的，VLA可视为VLM（视觉-语言模型）与机器运动数据（如RT-1）的结合，其技术架构包括视觉编码器、文本编码器 …

2024年12月22日 · 视觉语言模型（vlm）和视觉语言动作模型（vla）是近年来在人工智能领域内取得显著进展的两个概念，它们的发展历程反映了多模态学习的进步，特别是在结合视觉、语言和机器人动作方面。

2025年3月11日 · VLA模型能够处理视觉、语言和动作信息，使智能体理解人类指令并执行任务。 我们总结了主流VLA方案，包括基于经典Transformer、预训练LLM/VLM、扩散模型等类型，代表性开源项目和核心思想，方案间的差异与共识，并探讨了数据稀缺、运动规划、实时响应等挑战及未来发展方向。 也是为接下来中国VLA模型的涌现做一些梳理，希望为具身智能研究提供一些参考。 VLA模型通过多种技术路径实现视觉、语言和动作的融合，其方案多样，各具特色。 分层 …

现有的VLA方法通常基于diffusion或基于autoregressive，但各有优劣，其中自回归方法可以更好地利用VLM的复杂任务的逻辑推理和规划能力，但需要将连续的动作生成离散化，且推理较慢，而扩散方法生成效果和速度更好，但只将VLM作为特征提取器没有很好的利用 ...