RDT-1B is a 1B -parameter (largest to date) imitation learning Diffusion Transformer pre-trained on 1M+ (largest to date) multi-robot episodes. Given language instruction and RGB images of up to three views, RDT can predict the next $64$ robot actions.

2024年10月10日 · In this paper, we present the Robotics Diffusion Transformer (RDT), a pioneering diffusion foundation model for bimanual manipulation. RDT builds on diffusion models to effectively represent multi-modality, with innovative designs of a scalable Transformer to deal with the heterogeneity of multi-modal inputs and to capture the nonlinearity and ...

We present Robotics Diffusion Transformer with 1.2B parameters (RDT-1B), the largest diffusion-based foundation model for robotic manipulation. It is pre-trained on the largest multi-robot collection of 46 datasets with 1M+ episodes.

2025年3月20日 · RDT（Robotics Diffusion Transformer）是由清华大学AI研究院TSAIL团队推出的全球最大的双臂机器人操作任务扩散基础模型。RDT具备十亿参数量，能够在无需人类操控的情况下自主完成复杂任务，如调酒和遛狗。

2024年12月24日 · 在本文中，我们提出了机器人扩散变换器（Robotics Diffusion Transformer，简称 RDT），这是一种针对双臂操作的开创性扩散基础模型。 RDT 基于 扩散模型 ，有效地表示多模态特性，并设计了可扩展的 Transformer 架构，以应对多模态输入的异构性（heterogeneity），同时捕捉 ...

RDT-1B是一个具有 12亿参数的机器人大模型，是目前针对机器人操作领域最大的基于扩散的基础模型。 它在目前规模最大的多机器人数据集集合上进行了预训练，涵盖 46个数据集和超过100万段操作记录。 为了增强其双臂操作能力，我们在 ALOHA双臂机器人上收集了6000多段操作记录（这是迄今为止最大的双臂数据集之一），并用于模型的微调。 RDT-1B在灵巧性、零样本泛化能力和小样本学习方面树立了新的标杆。 该模型支持几乎所有现代机械臂的控制，包括双臂系统、 …

2024年10月24日 · 本文提出机器人扩散 Transformer （RDT），一种用于双手操作的开创性扩散基础模型。 RDT 以扩散模型为基础，有效地表示多模态，以可扩展的Transformer来处理多模态输入的异质性并捕获机器人数据的非线性和高频性。 为了解决数据稀缺问题，引入物理上可解释的统一动作空间，它可以统一各种机器人的动作表示，同时保留原始动作的物理意义，促进学习可迁移的物理知识。 通过这些设计，在迄今为止最大的多机器人数据集上对 RDT 进行预训练，并将其 …

2024年10月18日 · 在领略了 RDT 的强大后，是时候揭开它的神秘面纱了 —— RDT 的全称是 Robotics Diffusion Transformer，是全球最大的针对双臂机器人操作任务的扩散基础模型，由 清华大学 人工智能 研究院 TSAIL 团队构建。

RDT（Robotics Diffusion Transformer）是清华大学AI研究院TSAIL团队推出的全球最大的双臂机器人操作任务扩散基础模型。 RDT具备十亿参数量，能在无需人类操控的情况下，自主完成复杂任务，如调酒和遛狗。

特别的，TSAIL 团队在国际上率先提出 “扩散策略 “概念，并长期进行 “扩散策略” 构建算法研究，在 ICLR/NeurIPS/ICML 等顶级国际会议上连续发表了多篇相关研究工作 [1-4]，包括扩散策略模型动作重采样方法 SfBC，奖励函数引导采样算法 CEP，高效扩散策略梯度蒸馏算法 SRPO，扩散策略对齐算法 EDA 等。