2023年7月28日 · We study how vision-language models trained on Internet-scale data can be incorporated directly into end-to-end robotic control to boost generalization and enable emergent semantic reasoning.

RT-2 stands at the intersection of vision, language, and action, delivering unmatched capabilities and significant benefits for the world of robotics. Leveraging web-scale datasets and firsthand robotic data, RT-2 provides exceptional performance in understanding and translating visual and semantic cues into robotic control actions.

We study how vision-language models trained on Internet-scale data can be incorporated directly into end-to-end robotic control to boost generalization and enable emergent semantic reasoning.

RT-2相对于前身RT-1有了接近三倍的提升。 RT-2有两种变体，一种是基于PaLM-E-12B的VLM，一种是基于 PaLI-X-55B 的VLM，基于PaLI-X-55B的VLM会有更好的效果。 下面是说不通类别任务的性能结果. training from scratch. fine-tuning, co-fine-tuning三种训练方式的差别（这里scratch应该指的是从头开始训整个RT-2，但是数据不够吧？ 这些数据应该只够用于co-finetune?）： RT-2 可以表现出类似于VLM的chain-of-thought推理迹象。 具有chain-of-thought …

2023年11月26日 · 在Seen任务上，RT1与RT2性能接近，都领先于其他方法； 在Unseen任务上，RT2拉开了与其他模型的差距，这表明RT2最大的优势是从大规模的网络数据集中学习到了更具有泛化性能的信息；

6,000个机器人的评估过程表现出RT-2能够显著改善对物体、场景和指令的泛化能力，并且可以从web-scale vision-language预训练中继承到多样化新兴能力。 RT-2模型是建立在视觉语言模型（VLM）主干上的，如PaLM-E或PaLI-X。 为了确保VLM能控制机器人，必须要训练输出动作，具体做法是将动作（action）当作language tokens处理。 这里参照了RT-1中将动作编码离散化：action space包括机器人末端执行器的6个自由度（位置和旋转位移）、机器人夹持器的伸展 …

2023年9月12日 · Robotic Transformer 2（RT-2） 是由谷歌 DeepMind 新推出的大 语言模型，它为人类提供了通过纯语言命令来优化 机器人控制 的能力。 与此前的大模型不同，RT-2是一种新型的视觉-语言-动作（VLA）模型，它可以从网络和机器人数据中学习，并将这些知识转化为机器人控制的通用指令，帮助机器人在现实环境中完成各种复杂任务，同时提高机器人的适应性和判断推理能力。 高容量的视觉-语言模型（VLM）是在网络规模的数据集上训练的，使得这些系统在 …

2024年4月7日 · RT-2将预训练的视觉-语言模型（VLMs）进一步训练，使其能够直接控制机器人的动作。 这个过程的目标是让模型学会将视觉输入和语言指令映射到具体的机器人动作上，从而实现对机器人的闭环控制。 把 action 对齐成 action tokens（同 RT1），这些action tokens 在模型的训练集中被当作自然语言text toekn 一样处理。 在共同微调阶段，模型被训练来理解和生成这种结合了自然语言和动作标记的序列。 模型学习如何根据视觉输入和语言指令生成正确的动作标记 …

2023年11月22日 · 同时，ViT和CLIP等工作将trasnformer架构用于图像识别，从而构建出了横跨NLP和CV两个模态的多模态大模型VLM (vision-language-model)。 RT-2的作者希望把LLM模型杰出的文本理解能力进行借鉴，将其应用于机器人领域。 使机器人更能理解人的指令并作出反应。 作者这里提出的VLA (vision-language-action)是在VLM模型基础上用机器人动作数据进行微调得到的。 该模型的输入是自然语言指令和图像，输出是一系列的动作表示tokens。 机器人平 …

2023年8月3日 · 在Google DeepMind的论文中介绍了Robotics Transformer 2（RT-2），一个全新的视觉-语言-动作（VLA）模型，它从网络和机器人数据中学习，并将这些知识转化为机器人控制的通用指令，同时保留了web-scale能力。 一个在web-scale数据上进行预训练的视觉-语言模型（VLM）正在从RT-1的机器人数据中学习，以成为可以控制机器人的视觉-语言-动作（VLA）模型，RT-2。 这项工作建立在Robotic Transformer 1（RT-1）的基础上。 RT-1是一个经过多任务 …