2021年12月26日 · MViT即Swin通过采用了多尺度分层都有效的减低了Transformer计算耗费资源的问题，MViT是pooling操作，Swin是Windows操作。 Swin之前写过两篇博客详细介绍了论文及源码，链接： Swin Transformer 1.0. Swin Transformer 2.0. 值得注意的是，MViT模型的体量比较小，不到7G的显存就可以运行MViT-B，对在校学生来说非常友好了，显存足够的情况下有很大的改进空间. MViT就是Transformer 和 多尺度分层建模相融合的产物，下面介绍其基本框架：

2023年5月31日 · Vision Transformer（ViT）是一种基于Transformer架构的深度学习模型，用于图像识别和计算机视觉任务。与传统的卷积神经网络（CNN）不同，ViT直接将图像视为一个序列化的输入，并利用自注意力机制来处理图像中的像素关系。

How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers. The models were pre-trained on the ImageNet and ImageNet-21k datasets. We provide the code for fine-tuning the released models in JAX / Flax.

2022年10月26日 · In this paper, we present a model-accelerator co-design framework to enable efficient on-device MTL. Our framework, dubbed M$^3$ViT, customizes mixture-of-experts (MoE) layers into a vision transformer (ViT) backbone for MTL, and sparsely activates task-specific experts during training.

ViT是2020年Google团队提出的将Transformer应用在图像分类的模型，虽然不是第一篇将transformer应用在视觉任务的论文，但是因为其模型“简单”且效果好，可扩展性强（scalable，模型越大效果越好），成为了transformer在CV领域应用的里程碑著作，也引爆了后续相关研究

2023年2月23日 · Vision Transformer (ViT) 在以足够的规模进行预训练并迁移到具有较少数据点的任务时获得了出色结果。 当在公共 ImageNet-21k 数据集或内部 JFT-300M 数据集上进行预训练时， ViT 在多个图像识别基准上接近或击败了最先进的技术。 特别是，最佳模型在 ImageNet 上的准确率达到 88.55%，在 ImageNet-RealL 上达到 90.72%，在 CIFAR-100 上达到 94.55%，在 19 个任务的 VTAB 上达到 77.63%。 Transformers 是由 Vaswani 等人提出的 机器翻译 方法，并 …

2023年5月30日 · ViT是将Transformer架构引入计算机视觉的模型，通过将图像划分为补丁并用Transformer处理，擅长捕捉全局依赖。 文章讨论了ViT的不同变体，如ViT-H、ViT-L和ViT-B，并介绍了在目标检测中边界框的概念和绘制方法。 ViT，全称为 Vision Transformer，是一种基于Transformer架构的视觉处理模型。 传统的计算机视觉任务通常使用卷积 神经网络 （CNN）来提取图像的特征。 而ViT的目标是将Transformer模型应用于计算机视觉任务，通过全局性的注意 …

论文通过实验研究了并行ViT和串行ViT（原生ViT）在性能和速度上的区别。 这里首先介绍一下实验所采用的模型命名规则：使用Ti/S/B/L来指代模型的width，Ti/S/B/L分别对应192/384/768/1024；然后后面加上模型的depth。

Our framework, dubbed M³ViT, customizes mixture-of-experts (MoE) layers into a vision transformer (ViT) backbone for MTL, and sparsely activates task-specific experts during training, which effectively disentangles the parameter spaces to avoid different tasks' training conflicts.

本文评估了ResNet、ViT和混合模型的表达的学习能力。 在考虑到预训练模型的计算消耗时，ViT的性能非常好，它在最多测试上达到SOTA结果，而预训练成本更低。