2022年12月13日 · In this paper, we present a model class, dubbed Robotics Transformer, that exhibits promising scalable model properties. We verify our conclusions in a study of different model classes and their ability to generalize as a function of the data size, model size, and data diversity based on a large-scale data collection on real robots performing ...

To investigate these questions, we present Robotics Transformer, RT-1, a Transformer-based model that we train a large dataset of multi-task demonstrations and showcase how it generalizes to new tasks, how it is robust to changes in the environment and how it allows to execute long-horizon instructions.

2022年12月13日 · The RT-1 Robotics Transformer is a simple and scalable action-generation model for real-world robotics tasks. It tokenizes all inputs and outputs, and uses a pre-trained EfficientNet model with early language fusion, and a token learner for compression.

我们提出了一种新颖的架构,称为RT-1 (Robotics Transformer 1),通过将高维输入和输出 (包括相机图像、指令和电机命令)编码成紧凑的token表示以供Transformer使用,可以在运行时进行高效推理,使实时控制成为可能。 我们的贡献是RT-1模型以及在大规模真实世界机器人任务的数据集上对该模型的实验。 我们的实验不仅证明了与先前技术相比,RT-1可以显著改进泛化和鲁棒性,还评估和整合了模型和训练数据集组成中的许多设计选择。 我们的结果表明,RT-1可以以97%的成功率执 …

2024年1月1日 · 对于RT-1论文做一个简单的梳理. 一：摘要. 通过迁移基于大规模、多样化且与任务无关的数据集上预训练，机器学习模型可以在下游任务中（自然语言处理、计算机视觉领域）有着良好的表现（主要通过 zero-shot learning 或者是在任务相关较小规模的数据集上微调 ...

2022年12月13日 · RT-1可以以97%的成功率执行700多个训练指令，并且可以推广到新任务、干扰源和背景; RT-1可以结合来自模拟甚至其他机器人类型的数据，保留原始任务的性能并提高对新场景的泛化; We aim to learn robot policies to solve language-conditioned tasks from vision. 方法

提出了Robotics Transformer RT-1，在多任务演示中的大数据集上进行训练，展示了它如何泛化到新任务上的，应对环境变化时如何具有鲁棒性，如何能够执行long-horizon指令

2023年10月20日 · RT-1，这是一个基于变压器的模型，我们训练了一个大型的多任务演示数据集，并展示了它如何推广到新任务，它如何对环境变化具有鲁棒性以及它如何允许执行长视界指令。 我们还展示了它有效吸收来自不同领域（如模拟或不同机器人）的数据的能力。 遇见数据集——让每个数据集都被发现，让每一次遇见都有价值。 RT-1，这是一个基于变压器的模型，我们训练了一个大型的多任务演示数据集，并展示了它如何推广到新任务，它如何对环境变化具有鲁棒性 …

2023年7月26日 · RT-1是一种RoboticsTransformer模型，旨在通过大规模、多样化的机器人任务数据进行开放式训练，以实现对新任务的零样本学习能力。 该模型利用Transformer架构处理图像、文本指令和电机控制，通过高效的数据集和大容量网络设计克服挑战。

In this section, we describe how we tokenize the images, text, and actions, and then discuss the RT-1 model architecture. We then describe how we attain the runtime speed required for real-time control. Lastly, we describe the data collection procedure and the …