DiT块是模型的核心，它处理输入的token序列。 研究者们探索了四种不同的transformer块设计，以处理条件输入（如噪声时间步t、类别标签c等）。 设计包括：

2023年7月2日 · 首先，DiT并没有采用常规的pixel diffusion，而是 采用了 latent diffusion 架构，这也是 Stable Diffusion 所采用的架构。 latent diffusion采用一个autoencoder来将图像压缩为低维度的latent，扩散模型用来生成latent，然后再采用autoencoder来重建出图像。 DiT采用的autoencoder是SD所使用的KL-f8，对于256x256x3的图像，其压缩得到的latent大小为32x32x4，这就降低了扩散模型的计算量（后面我们会看到这将减少transformer的token数量）。

本文探索了一类新的基于 Transformer 的扩散模型 Diffusion Transformers (DiTs)。 本文训练 latent diffusion models 时，使用 Transformer 架构替换常用的 UNet 架构，且 Transformer 作用于 latent patches 上。 作者探索了 DiT 的缩放性，发现具有较高 GFLOPs 的 DiT 模型，通过增加 Transformer 宽度或者深度或者输入 token 数量，始终有更好的 FID 值。 最大的 DiT-XL/2 模型在 ImageNet 512×512 和 256×256 的测试中优于所有先前的扩散模型，实现了 2.27 的 FID 值。

2024年5月25日 · DiT，即Diffusion Transformer，是一种新型的扩散模型，它将传统扩散模型中的U-Net架构替换为Vision Transformer（ViT），并针对Diffusion Model特点修改模型，旨在提升图像生成性能。通过扩展模型大小和输入token的数量，DiT模型在保持计算效率的同时，达到了新的性 …

2024年10月1日 · 通常指模型能够根据input或condition动态调整自身参数，比如 Dit这里的scala和shift，就是根据condition产生的alpha、beta、gamma来做，借此通过condition来控制和影响noise的生成！ 什么又是zero initialization？ 这里指的是alpha、beta、gamma初始值是0，让网络恒等映射（输入等于输出），避免初期出现梯度爆炸或弥散，这个思路类似resnet. Pointwise Feedforward 在 Transformer 模型中的作用是对每个输入 token 独立进行non-linear projection。

2024年11月25日 · DiT是 基于Transformer架构的扩散模型。 用于各种图像（SD3、 FLUX 等）和视频（Sora等）视觉生成任务。 DiT证明了 Transformer思想与扩散模型结合的有效性，并且还验证了 Transformer架构在扩散模型上具备较强的Scaling能力，在稳步增大DiT模型参数量与增强数据质量时，DiT的生成性能稳步提升。 其中最大的DiT-XL/2模型在ImageNet 256x256的类别条件生成上达到了当时的SOTA【最先进的（State Of The Art）】（FID为2.27）性能。 同时在SD3 …

ViT（Vision Transformer） 是一种将 Transformer 模型用于计算机视觉任务 中的创新架构。 ViT 只使用了 Transformer 的 编码器 部分进行 特征提取和表征学习。 论文： AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE. 1. ViT的基本概念. ViT 的核心思想是 将传统的（CNN）的卷积操作替换为 Transformer 的注意力机制，借鉴 Transformer 模型在 自然语言处理（NLP） 中的成功经验，用于 图像分类任务。 2. ViT的结构 …

2024年3月8日 · DiT 系统研究了diffusion transformer的token化和条件嵌入两个关键问题，验证了基于transformer架构的扩散模型的scalable能力。

2025年1月16日 · DiT，即Diffusion Transformer，是一种新型的扩散模型，它将传统扩散模型中的U-Net架构替换为Vision Transformer（ViT），并针对Diffusion Model特点修改模型，旨在提升图像生成性能。通过扩展模型大小和输入token的数量，DiT模型在保持计算效率的同时，达到了新的性 …

DiT是使用时间片特征 t 和条件特征 \beta 相加后的结果计算这两个参数（也就是第一个代码片段中的变量c）。 此外，DiT在每个残差连接之后还接了一个回归缩放参数 \alpha ，它同样是由变量 c 计算得到。