2023年7月28日，谷歌DeepMind发布了全球首个控制机器人的视觉语言动作（VLA）模型 RT-2。 其后，这个模型概念快速扩散到智驾领域。 VLA模型是在 视觉语言模型 （VLM）的基础上发展而来的。 VLM是一种能够处理图像和自然语言文本的机器学习模型，它可以将一张或多张图片作为输入，并生成一系列标记来表示自然语言。 然而，VLA不仅限于此，它还利用了机器人或汽车运动轨迹的数据，进一步训练这些现有的VLM，以输出可用于机器人或汽车控制的动作序列。 通过 …

本文详细总结了具身智能中 VLA 的主流方案，包括基于经典 Transformer 结构、预训练 LLM/VLM、扩散模型、LLM + 扩散模型、视频生成 + 逆运动学以及不同类型的端到端方案。

2025年3月13日 · 2023年7月28日，Google DeepMind推出了 Robotic Transformer 2 （RT-2），这是一种创新的 视觉-语言-动作 （Vision-Language-Action, VLA）模型，能够从网络和机器人数据中学习，并将所学知识转化为通用的机器人控制指令。 VLA是一种 多模态模型，其中一些专注于通过预训练来提升特定组件的性能，而其他模型则致力于开发能够预测低级动作的控制策略。 某些VLA模型则充当高级任务规划器，能够将复杂的长期任务分解为可执行的子任务。 在过去 …

2025年1月6日 · 端到端大模型2.0 - VLA (Vision Language Action) 是一种先进的 多模态 机器学习模型，它结合了视觉、语言和动作三种能力，旨在实现 从感知输入直接映射到机器人控制动作的完整闭环能力。 这一技术的发展标志着自动驾驶和其他智能系统向更加自主化迈进的重要一步。 VLA模型被开发用于解决具身智能中的指令跟随任务。 与以ChatGPT为代表的聊天AI不同，具身智能需要控制物理实体并与环境交互。 机器人是具身智能最突出的领域。 在语言为条件的机器 …

2024年12月28日 · 视觉语言动作模型（VLA）：RT-2被广泛认为是首个成功的VLA模型，它首次明确地将视觉、语言和动作三者结合起来，用于指导机器人的实际操作。

近期，智驾行业出现了一个融合了视觉、语言和动作的多模态大模型范式——VLA（Vision-Language-Action Model，即视觉-语言-动作模型），拥有更高的场景推理能力与泛化能力。 不少智驾人士都将VLA视为当下“端到端”方案的2.0版本。 事实上，VLA模型最早见于机器人行业。 2023年7月28日，谷歌...

具身智能知识星球,深度聚焦机器人感知决策前沿！ 精选6篇VLA模型突破性研究，覆盖统一预测框架、动态令牌缓存、扩散动作专家、鲁棒视觉生成、双过程架构及通用策略构建方法论。 想掌握视觉-语言-动作模型的最新进展…

基于此，研究团队开发了 RoboMamba —一个端到端的机器人VLA模型，它巧妙地将视觉编码器与Mamba相结合，通过协同训练实现了视觉常识与机器人推理能力的双重提升。 更令人瞩目的 …

2025年2月12日 · 本文详细总结了具身智能中 VLA 的主流方案，包括基于经典 Transformer 结构、预训练 LLM/VLM、扩散模型、LLM + 扩散模型、视频生成 + 逆运动学以及不同类型的端到端方案。

2024年9月12日 · OpenVLA，一个7 B参数的开源视觉语言动作模型（VLA），在Open X-Embodiment数据集的970 k机器人集上进行了训练。 OpenVLA为通用机器人操作策略设定了一个新的艺术状态。 它支持开箱即用控制多个机器人，并可以通过参数 高效的 微调快速适应新的机器人领域。 OpenVLA权重和PyTorch训练管道是 完全开源 的，可以从HuggingFace下载和微调模型。 在互联网规模的视觉语言数据和多样化的机器人演示的组合上预先训练的大型策略有可能 …