VLM是一种能够处理图像和自然语言文本的机器学习模型，它可以将一张或多张图片作为输入，并生成一系列标记来表示自然语言。 然而，VLA不仅限于此，它还利用了机器人或汽车运动轨迹的数据，进一步训练这些现有的VLM，以输出可用于机器人或汽车控制的动作序列。 通过这种方式，VLA可以解释复杂的指令并在物理世界中执行相应的动作。 端到端大模型2.0 - VLA (Vision Language Action) 是一种先进的多模态机器学习模型，它结合了视觉、语言和动作三种能力， …

2025年1月6日 · 端到端大模型2.0 - VLA (Vision Language Action) 是一种先进的 多模态 机器学习模型，它结合了视觉、语言和动作三种能力，旨在实现 从感知输入直接映射到机器人控制动作的完整闭环能力。 这一技术的发展标志着自动驾驶和其他智能系统向更加自主化迈进的重要一步。 VLA模型被开发用于解决具身智能中的指令跟随任务。 与以ChatGPT为代表的聊天AI不同，具身智能需要控制物理实体并与环境交互。 机器人是具身智能最突出的领域。 在语言为条件的机器 …

2024年7月23日 · 因为要开始入门具身智能，所以说要阅读代码，显然选择了开源的 OpenVLA，于是在这里记录一下代码的阅读过程。 本人代码水平为，掌握 Pytorch 大多数语法，对于 Hugging Face 不太了解。 故部分内容会省略，尽量做到大多数内容均详实。 OpenVLA 是一个具身智能大模型，Open 在这里就是 Open Source 的意思，于是使用其开源代码，开源网址为 https://github.com/openvla/openvla。 直接运行一个 tree，看一下代码结构： 10. 11. 12. 13. …

2024年12月19日 · VLA模型顾名思义就是vision-language-action model，即用视觉+语言指令作为输入，让模型来决定的操作动作。 知道了需要保存的数据，那么数据集该怎么制作，用什么标准保存？ 实际上在我看来，数据集保存格式只要遵守：数据结构清晰，数据精度不变，存读方便这三点就足够了，目前我接触到的主流有四种格式：.npy,.whl,.hdf5,tfds (这个是一个统一格式，不是后缀，对于OXE数据集，是叫做RLDS，保存是使用tfds的接口来做的)，在这里我之展示我用的三 …

2025年2月27日 · VLA，即Vision-Language-Action模型，是一种将视觉输入（Vision）、语言推理（Language）与动作输出（Action）端到端融合的智能驾驶方案。 核心在于通过大模型技术，直接从摄像头、导航等输入信号生成车辆的控制指令（如速度与轨迹），摒弃了传统自动驾驶系统中感知、规划、控制的模块化分工。 正如Google Deepmind的RT-2所展示的，VLA可视为VLM（视觉-语言模型）与机器运动数据（如RT-1）的结合，其技术架构包括视觉编码器、文本编码器 …

2025年1月10日 · 构建视觉-语言-动作（vla）模型架构用于自动驾驶功能，涉及到将视觉、语言和动作三种模态的信息进行融合，以实现对复杂环境的理解和交互。 以下是搭建VLA算法架构的一般步骤及其在自动驾驶中…

2025年2月27日 · VLA，即Vision-Language-Action模型，是一种将视觉输入 （Vision） 、语言推理 （Language） 与动作输出 （Action） 端到端融合的智能驾驶方案。 核心在于通过大模型技术，直接从摄像头、导航等输入信号生成车辆的控制指令 （如速度与轨迹），摒弃了传统自动驾驶系统中感知、规划、控制的模块化分工。 正如Google Deepmind的RT-2所展示的，VLA可视为VLM （视觉-语言模型） 与机器运动数据 （如RT-1） 的结合，其技术架构包括视觉编码器、文本 …

该工作提出了RoboMamba，这是一个高效的VLA模型，它将视觉编码器与线性复杂度的Mamba LLM相结合，具备视觉常识推理和机器人推理能力。 基于 RoboMamba ，可以通过在几十分钟内微调简单的策略头（模型的0.1%）来赋予模型新的操作技能。

2024年12月22日 · VLA，Vision-Language-Action模型，是具身智能领域的新范式，从给定的语言指令和视觉信号，直接生成出机器人可执行的动作。 这种范式打破了以往只能在单个任务上训练大的局限性，提供了机器人模型往更加通用，场景更加泛化的方向发展。 VLA模型在学术界和工业界的重要性主要体现在其将视觉信息、语言指令和行动决策有效整合，显著提升了机器人对复杂环境的理解和适应能力。 这种新范式打破了传统方法的单任务局限，使得机器人能够在多样化的 …

Achievement：（1）首次提出了VLA模型的概念，用VLM和机器人数据生成了VLA模型。（2）RT-2在物品/场景/指令的泛化能力上很强； Limitation：（1）robot没有泛化出新的动作。