We propose a novel method, SuS-X, consisting of two key building blocks: "SuS" and "TIP-X", that requires neither intensive fine-tuning nor costly labelled data. SuS-X achieves state-of-the-art zero-shot classification results on 19 benchmark datasets.

SuS-X由两个关键构建模块“SuS”和“TIP-X”组成， 其既不需要密集数据的微调，也不需要昂贵的标记数据，打造了一种全新的微调范式。 作者进行了大量的实验来评估SuS-X方法的可行性和性能，SuS-X在多达19个基准数据集上均实现了SOTA零样本分类效果。 01. 介绍. 在开始介绍本文工作之前，我们简单回顾一下CLIP模型 [1]， CLIP是在含有4亿图像文本对的超大规模语料库上训练得到，其使用对比损失来最大化成对图像文本样本之间的相似性。 CLIP在视觉语言设置中率先 …

2022年11月28日 · We propose a novel method, SuS-X, consisting of two key building blocks -- SuS and TIP-X, that requires neither intensive fine-tuning nor costly labelled data. SuS-X achieves state-of-the-art zero-shot classification results on 19 benchmark datasets.

We propose a novel method, SuS-X, consisting of two key building blocks: "SuS" and "TIP-X", that requires neither intensive fine-tuning nor costly labelled data. SuS-X achieves state-of-the-art zero-shot classification results on 19 benchmark datasets.

We propose SuS-X, a framework for enhancing the zero-shot transfer abilities of VLMs like CLIP [57], BLIP [42] and TCL [72], without training. To achieve this, we propose a novel method TIP-X, which adapts these VLMs using a curated support set (SuS) that is …

Code for the paper: "SuS-X: Training-Free Name-Only Transfer of Vision-Language Models" [ICCV'23] - vishaal27/SuS-X

We propose a novel method, SuS-X, consisting of two key building blocks -- SuS and TIP-X, that requires neither intensive fine-tuning nor costly labelled data. SuS-X achieves state-of-the-art zero-shot classification results on 19 benchmark datasets.

2022年11月28日 · We propose a novel method, SuS-X, consisting of two key building blocks -- SuS and TIP-X, that requires neither intensive fine-tuning nor costly labelled data. SuS-X achieves...

根据获取支持集的方法，sus-x有两种实现方式：检索方法sus-x-lc和生成方法。 这两种方法的能力非常相似。 每种实现方法还可以根据 Query 或生成图像时使用的提示模式分为CuPL模式（GPT3生成）和Photo模式（手动构建）。

萨塞克斯大学（University of Sussex），世界领先的研究密集型高校 [40]，综合性研究型大学。 成立于1961年，是英国20世纪60年代 新大学 浪潮成立的第一所” 平板玻璃大学 “。 位于 英格兰 南部最具活力的海滩城市 布莱顿 （Brighton）附近，是英国唯一一所整体坐落在国家公园的大学，靠近风景秀丽的 南唐斯国家公园 的边缘 [1] [35]。 萨塞克斯大学位列2021 泰晤士高等教育世界大学排名 第160位， 泰晤士高等教育 “黄金时代”大学排名第15位 [2]，2024年 QS世界大学排名 218 …