2022年12月2日 · CLIP是一种简单而强大的学习表示方法，具有非常强的zero-shot迁移能力。 与经典的有监督学习不同，CLIP需要大规模的text-image数据来训练，OpenAI提出的原始CLIP模型需要在4亿级的数据上训练，训练需要的时间是几千…

mae的核心思想是将经过遮蔽的图像输入到不对称的编码器-解码器结构中，通过像素级重建来训练模型（使用逐遮蔽像素的mse损失）。 与一般的自编码器相比，该模型有以下几点不同之处：

2022年12月3日 · mae算法基于深度学习和生成对抗网络（gan）的框架，旨在通过编辑图像的多个属性来实现对图像的精细控制。本文详细介绍了mae算法的复现过程，并提供了相应的源代码，希望能对读者在理解和实现mae算法方面提供帮助。

Overview of the proposed clip-mae framework. We train on the Conceptual Captions dataset and report the performance about retrieval R1@10 and ImageNet zero-shot accuracy compared without reconstruction loss. 2. Training. Run python train.py with the corresponding arguments.

本文提出一种用于训练CLIP的简单而有效的方案FLIP(Fast Language-Image Pre-training, FLIP),它在训练过程中对图像块进行大比例的随机Mask移除。Mask机制使得我们可以在有限周期内学习到更多的image-text数据对，同时具有更少的内存占用。

CLIP 使用了 Contrasive self-supervised learning 来学习图像和文本的多模态表示。 CLIP pre-trains an image encoder and a text encoder to predict which images were paired with which texts in our dataset. We then use this behavior to turn CLIP into a zero-shot classifier. CLIP 分为三个阶段： (1) Contrastive pre-training：

2022年3月28日 · 介绍Vision Transformer（ViT）和Masked Autoencoder（MAE）两种视觉处理模型的关键概念和工作原理。 ViT 利用自注意力机制捕获图像全局信息，通过分块处理图像来避免CNN局部感知问题；而 MAE 是 ViT 的改进版，将图像patch转化为序列形式，结合编码器和解码器 …

2022年12月9日 · 本文提出一种用于训练CLIP的简单而有效的方案FLIP(Fast Language-Image Pre-training, FLIP),它在训练过程中对图像块进行大比例的随机Mask移除。Mask机制使得我们可以在有限周期内学习到更多的image-text数据对，同时具有更少的内存占用。

clip是面向未来的一种视觉感知模型(可以参考flip intro的第一段，写的很精炼)。视觉研究发展到现如今，亟待出现能scale up的in-context / few-shot learning和zero-shot learning的算法/模型。而clip是后者的一个非常promising的candidate(实现前者要难得多)。

2022年12月1日 · We present Fast Language-Image Pre-training (FLIP), a simple and more efficient method for training CLIP. Our method randomly masks out and removes a large portion of image patches during training.