Mar 20, 2025 · 无独有偶，和GR2差不多一个时期出来的清华RDT，其模型架构便基于视频生成架构DiT改造而成. 且RDT也是先预训练后微调，且它们都支持语言指令、图像序列以及机器人状态序列等多种输入，此外，RDT的参数规模是1B——10亿参数，而上了1B/10亿规模的，在机器人领域确实是可以称之为大模型了. 最后要说的，原论文专业且严谨，面向的更多是专业的研究者、从业者，但本博客除了研究者、从业者之外，还有一些初学者，故为了兼顾到初学者. 且行文标题 …

RDT-1B is a 1B -parameter (largest to date) imitation learning Diffusion Transformer pre-trained on 1M+ (largest to date) multi-robot episodes. Given language instruction and RGB images of up to three views, RDT can predict the next $64$ robot actions.

Dec 24, 2024 · 结果表明，RDT 实现了最新的性能水平，在各种具有挑战性的任务中成功率提升了 56%。 特别是，RDT 在未见物体、场景、指令甚至技能方面表现出了卓越的零样本和小样本（1∼5 样本）泛化能力。 RDT 还能够完成需要细致操作的任务，例如通过操纵杆控制机器狗。

RDT（Robotics Diffusion Transformer）是清华大学AI研究院TSAIL团队推出的全球最大的双臂机器人操作任务扩散基础模型。 RDT具备十亿参数量，能在无需人类操控的情况下，自主完成复杂任务，如调酒和遛狗。

Oct 10, 2024 · In this paper, we present the Robotics Diffusion Transformer (RDT), a pioneering diffusion foundation model for bimanual manipulation. RDT builds on diffusion models to effectively represent multi-modality, with innovative designs of a scalable Transformer to deal with the heterogeneity of multi-modal inputs and to capture the nonlinearity and ...

Oct 18, 2024 · 在领略了 RDT 的强大后，是时候揭开它的神秘面纱了 —— RDT 的全称是 Robotics Diffusion Transformer，是 全球最大 的针对 双臂机器人 操作任务的 扩散基础模型，由 清华大学 人工智能 研究院 TSAIL 团队构建。

Nov 14, 2024 · RDT 在最终机械臂操作的精细程度（dexterity）、对于不同物体的泛化（unseen object）、在不同场景下的泛化（unseen scene）、遵循指令的程度（instruciton following）和快速学习能力（few-shot learning）都进行了实验。

特别的，TSAIL 团队在国际上率先提出 “扩散策略 “概念，并长期进行 “扩散策略” 构建算法研究，在 ICLR/NeurIPS/ICML 等顶级国际会议上连续发表了多篇相关研究工作 [1-4]，包括扩散策略模型动作重采样方法 SfBC，奖励函数引导采样算法 CEP，高效扩散策略梯度蒸馏算法 SRPO，扩散策略对齐算法 EDA 等。

Dec 31, 2024 · 清华大学人工智能研究院TSAIL团队于2024年10月推出了全球最大的双臂机器人操作任务扩散基础模型——Robotics Diffusion Transformer（RDT-1B）。 这一创新模型通过基 …

Dec 17, 2024 · RDT（Robotics Diffusion Transformer）是由清华大学AI研究院TSAIL团队推出的全球最大的双臂机器人操作任务扩散基础模型。 RDT具备十亿参数量，能够在无需人类操控的情况下自主完成复杂任务，如调酒和遛狗。