DiT块是模型的核心，它处理输入的token序列。 研究者们探索了四种不同的transformer块设计，以处理条件输入（如噪声时间步t、类别标签c等）。 设计包括：

2023年7月2日 · 首先，DiT并没有采用常规的pixel diffusion，而是 采用了 latent diffusion 架构，这也是 Stable Diffusion 所采用的架构。 latent diffusion采用一个autoencoder来将图像压缩为低 …

本文探索了一类新的基于 Transformer 的扩散模型 Diffusion Transformers (DiTs)。 本文训练 latent diffusion models 时，使用 Transformer 架构替换常用的 UNet 架构，且 Transformer 作用于 …

2024年5月25日 · DiT，即Diffusion Transformer，是一种新型的扩散模型，它将传统扩散模型中的U-Net架构替换为Vision Transformer（ViT），并针对Diffusion Model特点修改模型，旨在提升 …

2024年10月1日 · 通常指模型能够根据input或condition动态调整自身参数，比如 Dit这里的scala和shift，就是根据condition产生的alpha、beta、gamma来做，借此通过condition来控制和影 …

2024年11月25日 · DiT是 基于Transformer架构的扩散模型。 用于各种图像（SD3、 FLUX 等）和视频（Sora等）视觉生成任务。 DiT证明了 Transformer思想与扩散模型结合的有效性，并且 …

ViT（Vision Transformer） 是一种将 Transformer 模型用于计算机视觉任务 中的创新架构。 ViT 只使用了 Transformer 的 编码器 部分进行 特征提取和表征学习。 论文： AN IMAGE IS …

2024年3月8日 · DiT 系统研究了diffusion transformer的token化和条件嵌入两个关键问题，验证了基于transformer架构的扩散模型的scalable能力。

2025年1月16日 · DiT，即Diffusion Transformer，是一种新型的扩散模型，它将传统扩散模型中的U-Net架构替换为Vision Transformer（ViT），并针对Diffusion Model特点修改模型，旨在提升 …

DiT是使用时间片特征 t 和条件特征 \beta 相加后的结果计算这两个参数（也就是第一个代码片段中的变量c）。 此外，DiT在每个残差连接之后还接了一个回归缩放参数 \alpha ，它同样是由变 …