按照提出ViT、DEiT这些论文的说法，ImageNet-1K都只能算是刚刚够到ViT能正常训练的门槛，让硬件资源不是很充足的实验室很难参与进来。 在CIFAR10和CIFAR100这类小数据集上，训练ViT模型，可以说对硬件条件一般的深度学习研究者是很友好的， 极大地降低了ViT模型 ...

ViT -> DeiT -> MetaFormer -> PoolFormer -> EfficientFormer -> EdgeFormer. 简单的说，ViT 开创了 Transformer 加 Vision，后来提出了 DeiT 利用 ViT + 蒸馏让训练得更快更方便，但是没有解决 ViT 在端侧实时运行的问题。于是有了各种 MateFormer、PoolFormer 等各种 XXXFormer 的变种。

自己训练vit模型：如果您有足够的计算资源，可以自己训练vit模型。 VIT模型的训练过程比较复杂，需要大量的图像数据和时间。 使用其他模型替代：如果您不能下载VIT预训练模型，可以尝试使用其他类似的模型，例如ResNet或DenseNet。

如果输入图像尺寸不一样，为了保证embedding的操作，图像切分patch大小要相同，这时序列的长度会有变化，而ViT中有相应的Position Embedding与序列的位置有关，因此原始的ViT是不支持动态尺寸的，不过可以通过调整相应的(将位置编码通过计算对应到原始图上进行 ...

如何提升计算效率. ViT采用的全局attention和图像输入大小（HW）的平方成正比，对于检测模型，其输入分辨率往往较大，此时用ViT作为Backbone在计算量和内存消耗上都不容小觑，比如输入为1024 × 1024时，采用ViT-B训练Mask R-CNN单batch就需要消耗∼20–30GB显存。

(2) 训练困难：ViT 在训练时面临多重挑战。首先，其庞大的参数量使得计算自注意力时对算力的需求远超 CNN。其次，ViT 的性能在很大程度上依赖于大规模的数据集进行预训练。此外，ViT 对超参数的选择极为敏感，需要精心调整以优化其在特定应用场景中的表现。

直到vit的出现，cv和nlp所使用的算法和处理方式的边界开始模糊。 加上最近两年的顶会有更多的ViT算法被运用到自动驾驶的领域中。 也曾经和朋友聊过，如何看待ViT在自动驾驶领域的运用，他不以为然，觉得没啥前途，不会颠覆CNN的地位。

2021年4月24日 · ViT 在小数据集上的性能不如使用CNN网络 EfficientNet，但是跟ViT结构相同，仅仅是使用更好的训练策略的DeiT比ViT的性能已经有了很大的提升，在此基础上，再加上蒸馏 (distillation) 操作，性能超过了 EfficientNet。

毕竟ViT宣扬自己是不使用卷积的纯Transformer架构，设计成重叠patch不就明摆着是卷积吗(这不是自己打自己脸，露馅了)。 2.ViT使用Transformer架构，需要输入序列，把图像切割成不重叠的patch序列比较直观，不会有任何的计算浪费(后续其实有重叠patch的魔改)。 3.

另外，位置编码虽然对Vison Transformer性能有一定影响，但是有研究发现去掉后其实模型性能下降并不多。而且，你还可以通过在ViT模型中插入少量的卷积来实现隐式位置编码，它相比固定的位置编码的好处是可以自适应尺寸，而