This repository contains the code and datasets for our ICCV-W paper 'Enhancing CLIP with GPT-4: Harnessing Visual Descriptions as Prompts' - mayug/VDT-Adapter

2024年6月17日 · 我们的 少样本适配器CLIP-A-self学会了从GPT生成的集合中选择最佳的VDT信息，并在Base-to-New设置中提高了少样本域迁移性能，即使生成的文本质量下降也是如此。

2024年11月17日 · VDT通过在 token 级别拼接条件帧 (潜在特征)和噪声帧来实现这一点，然后将其输入到 VDT 中 接下来，他们将 VDT 的输出帧序列分割，并使用预测的帧进行扩散过程，如上图 (b)所示

2024年2月28日 · 提出统一的时空掩码建模机制，使 VDT 能够处理多种视频生成任务，实现了技术的广泛应用。 VDT 灵活的条件信息处理方式，如简单的 token 空间拼接，有效地统一了不同长度和模态的信息。

Our few-shot adapter CLIP-A-self learns to pick the best VDT information from the GPT gen-erated set and improve the few-shot domain transfer in the Base-to-New setting even when the quality of the generated text deteriorates.

main.sh is the script for running default clip adapter. Please refer to b2n_adapters.sh for the scripts for all shots and all datasets (with tuned residual ratio) for CLIP-A-self in the base 2 new setting.

2023年7月21日 · In this work, we show that GPT-4 can be used to generate text that is visually descriptive and how this can be used to adapt CLIP to downstream tasks. We show considerable improvements in 0-shot transfer accuracy on specialized fine-grained datasets like EuroSAT (~7%), DTD (~7%), SUN397 (~4.6%), and CUB (~3.3%) when compared to CLIP's default ...

在这篇文章中，我们将来解读OpenAI提出的多模态模型： CLIP（Contrastive Language-Image Pre-training）。 它是多模态领域的经典之作，后续也作为基础模型，被广泛用在 DALLE2， Stable Diffusion 等重要文生图大模型中。 话不多说，进入正文～ 推荐阅读： 【码字与绘图不易，如果觉得本文有帮助，麻烦点一个小小的赞，是持续创作的动力，谢谢～ ️ ️】 在使用VIT做传统图像分类的过程中， 我们的训练是“有标签的”。 如下图所示，每张输入数据都是 <image, …

DreamPose 构建了一个双路的 CLIP-VAE 图像编码器和 adapter 模块，以替代 LDM 中的原始 CLIP 文本编码器作为条件组件。 在给定单个人类图像和一个姿势序列的情况下，该研究可以基于提供的姿势信息生成相应的人体姿势视频。

2024年9月7日 · 由前stability AI前核心团队成员发布的FLUX模型以其能够输出媲美Midjourney画质的图像而爆火，FLUX模型在使用中与stable diffusion 3类似，需要专门CLIP模型配合使用。 自然CLIP模型的优化自然会影响到FLUX模型生成效果。