Code for GLiT: Neural Architecture Search for Global and Local Image Transformer accepted by ICCV2021

2021年7月7日 · We introduce the first Neural Architecture Search (NAS) method to find a better transformer architecture for image recognition. Recently, transformers without CNN-based backbones are found to achieve impressive performance for image recognition.

2021年12月21日 · 本文通过设计具有局部和全局模块的搜索空间，结合分层搜索方法更好的设计了ViT结构，GLiT提供了一种更可行的自动化搜索方法。

本文的搜索空间（针对Tiny模型）主要包括两个维度，一个是全局和局部信息在整个网络的分布（如表1第一行High-Level, 其中G,L分别代表一个GL-block中全局和局部模块的数量），另外一个是全局和局部模块里面的超参（表1中Low-Level，这部分跟大部分NAS方法关注的网络超参是类似的，包括了卷积层中卷积的大小K （即kernel size），expansion ration (E), self-attention中特征的维度 和FFN中全连接层的expansion ratio。 · 对于搜索方法： 假设我们的网络总共包含12 …

We introduce the first Neural Architecture Search (NAS) method to find a better transformer architecture for image recognition. Recently, transformers without C.

Fig. 1 shows that our searched Global Local image Transfomer (GLiT) achieves up to 4% absolute accuracy in-crease when compared with the state-of-the-art tranformer backbone DeiT on ImageNet. So far as we know, concurrent with [8], we are the first to explore better transformer architecture by NAS for image classification.

In order to improve the visual representation ability for transformers, we propose a new search space and searching algorithm. Specifically, we introduce a locality module that models the local correlations in images explicitly with fewer computational cost.

2025年3月24日 · 智源社区是互联网上没有围墙的人工智能实验室，我们正围绕关键学科与应用领域，建立紧密协作的学术共同体，构筑开放研究平台与协作工具，加速新线索发现、假设提出、提案产生。 以创新的组织方式，打通学术研究、创业孵化、企业研发创新链，推动新概念产生与跨学科合作，并在这个过程中，培养出新一代问题的发现者和解决者。

本文构建了新的基于全局与局部注意力的网络搜索空间，并针对新构成的较大的搜索空间提出了分层级的网络搜索算法以有效地进行网络结构搜索。 作者单位：悉尼大学，商汤科技，百度美国研究院，牛津大学. 方法亮点. 1.本文是与ICCV相关文章同时出现的第一批通过网络结构搜索算法来进行vision transformer网络结构探索的算法。 通过网络结构搜索，得到了在相同训练设置下优于ResNet和ResNext的vision transformer变种。 2.将局部模块引入至vision transformer的搜索 …

2021年7月6日 · We introduce the first Neural Architecture Search (NAS) method to find a better transformer architecture for image recognition. Recently, transformers without CNN-based backbones are found to...