2024年11月14日 · 做了一个基于 diffusion 的机器人控制基础大模型（DiT），模型的输入包括图像输入、语言指令、本地感知和控制、控制频率和实践步等，模型输出是往后预测的多帧动作。 其亮点包括 1）针对动作多模特性，使用 diffusion 结构；2）对于不同机械臂的本地感知状态，取了这些状态的并集，并统一了其物理含义，便于对齐利用广泛数据集；3）优化模型训练，避免训练不稳定和多模态融合中信息不均衡的问题（比如主要看视频而不管语言指令）。 一、为什么使 …

2024年12月17日 · RDT（Robotics Diffusion Transformer）是由清华大学AI研究院TSAIL团队推出的全球最大的双臂机器人操作任务扩散基础模型。 RDT具备十亿参数量，能够在无需人类操控的情况下自主完成复杂任务，如调酒和遛狗。

RDT基于diffusion model来有效地表示多模态,通过scalable transformer来处理多模态输入的不同特征和性质 并 捕获机器人数据的非线性(变化并不是简单比例关系)和高频(快速变化)

This repo is an official PyTorch implementation of RDT, containing: 🛠️Model implementation of RDT; 🤗1M-step checkpoint of RDT-1B pre-trained on multi-robot data; 🤗500K-step checkpoint of RDT-170M (RDT(small) in ablation) 📈Training and sampling scripts (with DeepSpeed) 🤖An example of real-robot deployment

2024年10月18日 · 在领略了 RDT 的强大后，是时候揭开它的神秘面纱了 —— RDT 的全称是 Robotics Diffusion Transformer，是全球最大的针对双臂机器人操作任务的扩散基础模型，由清华大学人工智能研究院 TSAIL 团队构建。

清华大学人工智能研究院 TSAIL 团队构建了用于双臂机器人操作的扩散基座模型——Robotics Diffusion Transformer（RDT），是目前最大的用于机器人操作的扩散基座模型，拥有模型参数量1.2B，现已开源。RDT模型以扩散模型作为基础，能够有效地表示多峰的人类动作分布 ...

rdt采用了强大的网络架构进行扩散，以准确建模多模态动作的分布，而离散化和vae分别缺乏准确性和表现力; 此外，大规模预训练后大量的参数提供了丰富的先验知识，这显著提高了泛化能力; 第二部分 rdt的训练细节、硬件配置、实验详情

2021年1月19日 · 本文介绍了可靠数据传输（rdt）的不同版本，包括rdt1.0至rdt3.0，并探讨了有限状态机的概念及其在rdt中的应用。 rdt1.0假设信道完全可靠，而rdt2.0和rdt2.1处理比特差错，引入序列号机制。

Important Messages. We use cookies and tracking technologies to provide and remember login, to record sessions, to improve your experience and to optimize site functionality.

Access the IHG network and manage accounts, passwords, and other support services.