DeiT 是一个全 Transformer 的架构。 其核心是提出了针对 ViT 的教师-学生蒸馏训练策略，并提出了 token-based distillation 方法，使得 Transformer 在视觉领域训练得又快又好。 ViT 文中表示数据量不足会导致 ViT 效果变差。 针对以上问题，DeiT 核心共享是使用了蒸馏策略，能够仅使用 ImageNet-1K 数据集就就可以达到 83.1% 的 Top1。 那么文章主要贡献可以总结为三点： 仅使用 Transformer，不引入 Conv 的情况下也能达到 SOTA 效果。 提出了基于 token 蒸馏的策略， …

Data-efficient image transformers (DeiT) 无需海量预训练数据，只依靠ImageNet数据，便可以达到SOTA的结果，同时依赖的训练资源更少（4 GPUs in three days）。 仅使用Transformer，不引入Conv的情况下也能达到SOTA效果。 提出了基于token蒸馏的策略，这种针对transformer的蒸馏方法可以超越原始的蒸馏方法。 Deit发现使用Convnet作为教师网络能够比使用Transformer架构取得更好的效果。 二. 知识蒸馏 (knowledge distillation)

2021年12月10日 · DeiT的模型和VIT的模型几乎是相同的，可以理解为本质上是在训一个VIT。 better hyperparameter：指的是模型初始化、learning-rate等设置。 data augmentation：在只有120万张图片的Imagenet，使用数据增广模拟更多数据。 Distillation：知识蒸馏。 三部分的作用分别为：保证模型更好的收敛、可以使用小的数据训练、进一步提升性能。 还有一些其他的方式，如：warmup、label smoothing、droppath等。 简单来说就是用teacher模型去训练student模 …

2024年1月12日 · DeiT （Data-efficient Image Transformer）是一种用于图像分类任务的 神经网络 模型，它基于Transformer架构。 这个模型的主要目标是在参数较少的情况下实现高效的图像分类。 相比于传统的卷积神经网络（CNN），DeiT采用了Transformer的注意力机制，使其能够更好地捕捉图像中的全局关系。 1.Transformer 架构： DeiT采用了Transformer的架构，这是一种自注意力机制的模型。 这种架构在自然语言处理任务中取得了显著的成功，DeiT将其成功地应用于 …

在类似的配置下， DeiT III性能可以媲美最近的一些模型如 Swin 和 ConvNext，而且 DeiT III性能也达到了近期的基于图像掩码的自监督学习方法如 BeiT 和 MAE 的水准。

2024年5月25日 · 数据高效的训练策略（DeiT）： 本文提出了一种在单节点上使用8个GPU进行两到三天训练的方法，使视觉Transformer在仅使用ImageNet数据集的情况下也能达到与CNN相当的性能。

DEiT是FaceBook在2020年提出的一篇Transformer模型。 该模型解决了Transformer难以训练的问题，三天内使用4块GPU，完成了ImageNet的训练，并且没有使用外部数据，达到了SOTA水平。

2024年10月17日 · DeiT is a new VIT method to handle the problem of VIT requiring a large amount of data. It incorporates a distillation token and learns from the teacher model's prediction to imitate the ability of the teacher models.

DeiT (data-efficient image transformers) are more efficiently trained transformers for image classification, requiring far less data and far less computing resources compared to the original ViT models. The abstract from the paper is the following:

2022年7月17日 · DeiT 的目標就是讓網路參數量減少 (與 CNN 在同個水平上)、預訓練時需訓練資料集減少 (不需要再 JFT 使用 ImageNet1K 即可)。 而且不用 TPU 訓練，僅需要用 GPU 訓練三天就可以訓練不錯的預訓練模型。 DeiT 顧名思義就是在資料有限的狀況下，同時能夠保持跟 ViT 一樣的效果甚至比用 CNN 的網路還來得好。 他的全名為 Training...