端到端大模型2.0 - VLA (Vision Language Action) 是一种先进的多模态机器学习模型，它结合了视觉、语言和动作三种能力，旨在实现从感知输入直接映射到机器人控制动作的完整闭环能力。 这一技术的发展标志着自动驾驶和其他智能系统向更加自主化迈进的重要一步。 VLA模型被开发用于解决 具身智能 中的指令跟随任务。 与以ChatGPT为代表的聊天AI不同，具身智能需要控制物理实体并与环境交互。 机器人是具身智能最突出的领域。 在语言为条件的机器人任务中，策略必须 …

本文详细总结了具身智能中 VLA 的主流方案，包括基于经典 Transformer 结构、预训练 LLM/VLM、扩散模型、LLM + 扩散模型、视频生成 + 逆运动学以及不同类型的端到端方案。

2025年1月6日 · 端到端大模型2.0 - VLA (Vision Language Action) 是一种先进的 多模态 机器学习模型，它结合了视觉、语言和动作三种能力，旨在实现 从感知输入直接映射到机器人控制动作的完整闭环能力。 这一技术的发展标志着自动驾驶和其他智能系统向更加自主化迈进的重要一步。 VLA模型被开发用于解决具身智能中的指令跟随任务。 与以ChatGPT为代表的聊天AI不同，具身智能需要控制物理实体并与环境交互。 机器人是具身智能最突出的领域。 在语言为条件的机器 …

最近的视觉-语言-动作模型（VLAs）——通过对大规模机器人数据集上的预训练视觉-语言模型进行微调以实现低级机器人控制，已在各种机器人和任务上展示了强大的任务性能、语义泛化和语言跟随能力。 尽管它们具有这些优势，但对于在新型机器人和任务上令人满意地部署VLAs而言，微调至关重要，然而，在巨大的设计空间中，最有效的适应方法尚不清楚。 希望将VLA微调到新机器人设置和任务的机器人从业者可能会默认使用预训练时使用的相同训练方案（或其参数高效变 …

2025年1月8日 · **VLA (Vision Language Action)**: 这是一种 多模态 机器学习模型，它结合了视觉、语言和动作三种能力，旨在实现从感知输入直接映射到机器人控制动作的完整闭环能力。

2024年9月12日 · OpenVLA，一个7 B参数的开源视觉语言动作模型（VLA），在Open X-Embodiment数据集的970 k机器人集上进行了训练。 OpenVLA为通用机器人操作策略设定了一个新的艺术状态。 它支持开箱即用控制多个机器人，并可以通过参数 高效的 微调快速适应新的机器人领域。 OpenVLA权重和PyTorch训练管道是 完全开源 的，可以从HuggingFace下载和微调模型。 在互联网规模的视觉语言数据和多样化的机器人演示的组合上预先训练的大型策略有可能 …

To better define such general-purpose tasks in the context of LLMs and advance the research in VLAs, we present VLABench, an open-source benchmark for evaluating universal LCM task learning. VLABench provides 100 carefully designed categories of tasks, with strong randomization in each category of task and a total of 2000+ objects.

2025年1月16日 · Autoregressive sequence models, such as Transformer-based vision-language action (VLA) policies, can be tremendously effective for capturing complex and generalizable robotic behaviors.

2024年6月14日 · 在CALVIN机器人操作基准测试中，DeeR-VLA实现了大语言模型（LLM）计算成本减少5.2-6.5倍，GPU内存减少2-6倍，同时保持了性能不受影响。 近年来，多模态大语言模型（MLLM）让机器人具备了前所未有的理解与执行能力。 通过语言指令和视觉信息的结合，机器人可以完成复杂任务，比如“抓起蓝色物体并放到桌上”。 一些前沿模型，如RT-2，甚至可以泛化到新任务或新物体。 然而，要让这些强大的模型走进实际场景，还有一道难题需要解决——MLLM …

Figure AI提出了Helix，一种通用的视觉-语言-行动（VLA）模型，旨在通过统一感知、语言理解和学习控制，克服机器人技术中的多个长期难题。 Helix 包含了诸多首创： 全身上肢控制：Helix 是首个能够输出高频率连续控制整个类人上肢的 VLA，涵盖了手腕、躯干、头部以及各个手指的运动。 多机器人协作：Helix 是首个能够同时在两台机器人上运行的 VLA，使其能够通过协作解决共同的长时程操作任务，处理他们从未见过的物品。 拾取任何物品：配备 Helix 的机器人现在可以 …