We present a new architecture, named Convolutional vision Transformers (CvT), that improves Vision Transformers (ViT) in performance and efficienty by introducing convolutions into ViT to yield the best of both designs.

We present in this paper a new architecture, named Convolutional vision Transformer (CvT), that improves Vision Transformer (ViT) in performance and efficiency by introducing convolutions into ViT to yield the best of both designs.

2021年3月29日 · We present in this paper a new architecture, named Convolutional vision Transformer (CvT), that improves Vision Transformer (ViT) in performance and efficiency by introducing convolutions into ViT to yield the best of both designs.

Transformer最近主导了自然语言NLP中的广泛任务，ViT是第一个完全依赖Transformer架构来大规模获得具有竞争力的图像分类性能的计算机视觉模型，ViT采用理解语言的Transformer模型，稍作修改。 首先将图像分割成离散的非重叠块（如16×16），然后这些patch被视为token，类似NLP中的token，用特殊的位置编码求和以表示粗略的空间信息，并输入到重复的标准Transformer层以对全局关系进行建模，最终实现分类。

Convolutional Token Embedding 即卷积 token 嵌入层，其主要作用是来模拟 CNN 的下采样设计，每个阶段逐步减小 Token 的数量（特征分辨率），同时增加Token 的宽度（特征维度），从而实现空间降采样和增加表示的丰富性，这使得 Token 有能力在越来越大的空间范围内代表越来越复杂的视觉模式。 可以配合下图来理解（以 CvT-13 为例） Convolutional Token Embedding 的代码十分简单. """ def __init__(self, patch_size=7, in_chans=3, embed_dim=64, stride=4, …

2022年4月9日 · 本文提出了一种新的结构，称为卷积视觉变换器（CvT），它通过在 ViT 中引入卷积来提高视觉变换器（ViT）的 性能 和效率。 这是通过两个主要修改来实现的：包含新卷积令牌嵌入的 Transformer 层次结构，以及利用卷积投影的卷积 Transformer 块。 这些变化将 卷积神经网络 （CNN）的理想特性引入 ViT 体系结构（即平移、缩放和失真不变性），同时保持 Transformer 的优点（即动态注意、全局上下文和更好的泛化）。 我们通过进行大量实验来验证 CvT，结 …

2022年1月1日 · CvT架构的Motivation也是将局部性引入Vision Transformer架构中，期望通过引入局部性得到更高的性能和效率权衡。 因此我们主要关注CvT是如何引入局部性的。 具体来说提出了两点改进： 通过以上改进，模型不仅具有卷积的优势 (局部感受野、权重共享、空间下采样等特性带来的优势)，如平移不变形、尺度不变性、旋转不变性等，也保持了Self Attention的优势，如动态注意力、全局语义信息、更强的泛化能力等。 展开一点讲，Convolutional Vision Transformer …

The Convolutional vision Transformer (CvT) is an architecture which incorporates convolutions into the Transformer. The CvT design introduces convolutions to two core sections of the ViT architecture. First, the Transformers are partitioned into multiple stages that form a hierarchical structure of Transformers.

卷积视觉Transformer (CvT) 模型是在 CvT：将卷积引入视觉Transformer 中提出的 [2]，由吴海平、肖斌、诺埃尔·科德拉、刘梦晨、戴夕洋、袁路和张磊提出。 CvT 采用了 CNN 的所有优势： 局部感受野 、 共享权重 和 空间下采样，以及 移位 、 缩放 、 失真不变性，同时保留了 Transformer 的优点： 动态注意力 、 全局上下文融合 和 更好的泛化能力。 与 ViT 相比，CvT 在保持计算效率的同时，取得了优越的性能。 此外，由于卷积引入了内置的局部上下文结构，CvT 不再需要 …

cvt-13是一个面向文本分类任务的预训练模型，能够对输入的文本进行分类和判断。 该模型在文本分类、情感分析和文本理解等领域具有广泛的应用，为文本处理任务提供了强大的支持。