NCDIT provides IT services, including network hosting, cybersecurity, data analytics and support to state government entities and broadband expansion efforts.

DiT块是模型的核心，它处理输入的token序列。 研究者们探索了四种不同的transformer块设计，以处理条件输入（如噪声时间步t、类别标签c等）。 设计包括：

2024年3月4日 · 实验证明了 transformer架构在扩散模型上的scalability能力，分析发现 DiTs速度更快（Gflops更高），并且始终具有较低的FID（FID是反应生成图片和真实图片的距离，数据越小越好）。 1GLOPs=10亿次浮点运算。 是Paper里比较流行的单位。 FID是反应生成图片和真实图片的距离，数据越小越好. 最大的模型 DiT-XL/2 在 ImageNet 数据集，类别条件生成任务上 512×512和256×256 表现优于所有先前的扩散模型，256×256上实现了 SOTA 的 FID 指 …

本文探索了一类新的基于 Transformer 的扩散模型 Diffusion Transformers (DiTs)。 本文训练 latent diffusion models 时，使用 Transformer 架构替换常用的 UNet 架构，且 Transformer 作用于 latent patches 上。 作者探索了 DiT 的缩放性，发现具有较高 GFLOPs 的 DiT 模型，通过增加 Transformer 宽度或者深度或者输入 token 数量，始终有更好的 FID 值。 最大的 DiT-XL/2 模型在 ImageNet 512×512 和 256×256 的测试中优于所有先前的扩散模型，实现了 2.27 的 FID 值。

2024年3月8日 · 本文旨在探讨以Transformer取代 UNet 在扩散模型中的可行性和潜在方案，并对所提出的Diffusion Transformer (DIT)架构的scalable能力进行了验证和评估。 采用 DiT 架构替换 UNet 主要需要探索以下几个关键问题: Token化处理。 Transformer的输入为一维序列,形式为 \mathbb {R}^ {T \times d} (忽略batch维度)，而 LDM 的latent表征 z \in \mathbb {R}^ {\frac {H} {f} \times \frac {W} {f} \times C} 为spatial张量。 因此,需要设计合适的Token化方法将二维latent映 …

The 31st edition of the National Conference on Communications (NCC-2025) will be jointly organized by IIT Delhi, IIIT Delhi, IIT Jammu, and IIT Jodhpur during 6th March - 9th March 2025. NCC-2025 will be held as in-person event at IIT Delhi.

2024年11月25日 · DiT是 基于Transformer架构的扩散模型。 用于各种图像（SD3、 FLUX 等）和视频（Sora等）视觉生成任务。 DiT证明了 Transformer思想与扩散模型结合的有效性，并且还验证了 Transformer架构在扩散模型上具备较强的Scaling能力，在稳步增大DiT模型参数量与增强数据质量时，DiT的生成性能稳步提升。 其中最大的DiT-XL/2模型在ImageNet 256x256的类别条件生成上达到了当时的SOTA【最先进的（State Of The Art）】（FID为2.27）性能。 同时在SD3 …

2024年5月25日 · DiT，即Diffusion Transformer，是一种新型的扩散模型，它将传统扩散模型中的U-Net架构替换为Vision Transformer（ViT），并针对Diffusion Model特点修改模型，旨在提升图像生成性能。通过扩展模型大小和输入token的数量，DiT模型在保持计算效率的同时，达到了新的性 …

2024年6月19日 · Diffusion Transformer（DiT）： DiT结合了扩散模型和Transformer架构的优势，通过模拟从噪声到数据的扩散过程，DiT能够生成高质量、逼真的视频内容。 在Sora模型中，DiT负责从噪声数据中恢复出原始的视频数据。

2024年10月1日 · 原论文中，Dit block的网络结构有好几种，中间那种就是熟知的cross attention来融合patch和condition，但被设置成了灰色。 而左边的adaLN-Zero颜色鲜亮，原论文大概率是推荐这种方式的，那么adaLN-Zero有啥过人之处了？