2022年4月19日 · We design a novel varied-size window attention module which learns adaptive window configurations from data. By adopting VSA in each head independently, the model can capture long-range dependencies and rich context information from diverse windows.

实验结果： VSA 是一个易于实现的模块，它可以用较小的修改和可以忽略的额外计算成本来替代最先进的代表性模型中的窗口注意力，同时大幅度地提高它们的性能，例如，在ImagNet 分类任务中，分类性能相对 Swin-T 提高了1.1% ，使用较大的图像训练和测试时 ...

The official repo for [ECCV'22] "VSA: Learning Varied-Size Window Attention in Vision Transformers" - ViTAE-Transformer/ViTAE-VSA

In the "Run" UI, you can upload one image in the "Input Image" panel, and type in your question in the "Input Text Prompt" panel. Then, click submit and wait for model inference. You can also customize object classes for detection in the "Ground Classes" panel.

2022年2月25日 · Vision Transformer 模型通过使用attention对划分成小块的图像进行建模，得到了很好的效果。 在ViTAE [2]中，我们从模型设计的角度在transformer中引入了归纳偏置，并提出两种新的基础模块，即reduction cell （RC）和normal cell （NC）， 如图1所示。 Reduction cell使用多尺度卷积来为transformer模型引入尺度不变性。 Normal cell使用并行的卷积分支，在不影响transformer全局建模能力的情况下引入局部归纳偏置。 通过引入这样的两种机制，ViTAE模 …

Vision Search Assistant（VSA）是结合视觉语言模型（VLMs）和网络代理的框架，提升模型对未知视觉内容的理解能力。 基于互联网检索，使VLMs处理和回答有关未见图像的问题。

2022年9月6日 · To address this problem, we propose a new paradigm for image-to-image translation using Vector Symbolic Architectures (VSA), a theoretical framework which defines algebraic operations in a high-dimensional vector (hypervector) space.

2022年10月18日 · 本文用一种基于VSA框架的新方法来处理非配对图像转换（unpaired image translation）中的语义翻转问题。 展示了相较于之前方法的重大定性定量改进，表明VSA可以用于逆转（invert）图片转换（image translations）并确保跟源域的一致性。

2025年1月31日 · The VSA-GCNN model includes a morphological gradient function and a Dice loss function for segmenting the tumor type in the MRI images and reducing feature information loss in the max pooling layer.

images for the challenging task of Visual Question Answer-ing (VQA). VSA4VQA is the first model to scale a VSA to complex spatial queries. Our method is based on the Seman-tic Pointer Architecture (SPA) to encode objects in a hyper-dimensional vector space. To encode natural images, we ex-tend the SPA to include dimensions for object’s width and