To our knowledge, EVA-CLIP series are the most performant open-modeld CLIP models at all scales, evaluated via zero-shot classification performance, especially on mainstream classification benchmarks such as ImageNet along with its variants. For more details about EVA-CLIP, please refer to our paper.

eva-clip-18b的特点：是目前规模最大、性能最优的开源clip模型，具有180亿个参数。 弱到强视觉扩展原则：遵循了EVA的弱到强视觉扩展原则，成功地将CLIP模型扩展到了新的规模，并在多个领域的主流基准上取得了先进的成果。

2023年3月27日 · In this paper, we propose EVA-CLIP, a series of models that significantly improve the efficiency and effectiveness of CLIP training. Our approach incorporates new techniques for representation learning, optimization, and augmentation, enabling EVA-CLIP to achieve superior performance compared to previous CLIP models with the same number of ...

不同于EVA V1使用 CLIP 模型的视觉Encoder作为Teacher，EVA V2使用了智源自己训练的gaint规模多模态模型EVA-CLIP作为Teacher。EVA-CLIP相对于CLIP提升较大，尤其是在ImageNet上的Zeroshot分类能力。

2024年1月10日 · EVA-CLIP集成了多种可以降低训练成本、稳定训练过程和提升zero-shot能力的方法，包括通过EVA模型权重来初始化CLIP、使用LAMB优化器、随机丢弃一部分输入tokens和Flash Attention。

2024年2月8日 · 近日，智源视觉团队成功训练并发布世界最大最强的 CLIP 模型 EVA-CLIP-18B，拥有 180 亿参数。 EVA-CLIP-18B 大幅突破了图像、视频和 3D 上的零样本识别能力，在 27 个图像分类基准测试上取得了80.7%的零样本准确率，这一成绩显著优于其前代模型 EVA-CLIP-5B 和 Google, Apple 等公司取得 SOTA 的其他开源 CLIP 模型。 EVA-CLIP-18B 的成功训练进一步验证了 EVA 系列 weak-to-strong 规模扩增策略的潜力和有效性。 团队将公开 EVA-CLIP 18B 模 …

To our knowledge, EVA-CLIP series are the most performant open-sourced CLIP models at all scales, evaluated via zero-shot classification performance, especially on mainstream classification benchmarks such as ImageNet along with its variants.

2024年6月12日 · eva-clip，这是一种基于对比语言图像预训练（clip）技术改进的模型，通过引入新的表示学习、优化和增强技术，显著提高了clip的训练效率和效果。eva-clip系列模型在保持较低训练成本的同时，实现了与先前具有相似参数数量的clip模型相比更高

CLIP使用对比学习方法,其损失函数基于图像-文本对的相似度。 让我们通过一个简化的例子来说明这个过程。 假设我们有一个小批量数据,包含3个图像-文本对: Copy. 步骤1: 特征提取 首先,CLIP会使用图像编码器和文本编码器分别提取图像和文本的特征。 假设我们得到的特征向量如下 (简化为2维向量): 图像特征: I1 = [0.8, 0.2] I2 = [0.3, 0.7] I3 = [-0.5, 0.5] 文本特征: T1 = [0.9, 0.1] T2 = [0.2, 0.8] T3 = [-0.6, 0.4] 步骤2: 计算相似度矩阵 接下来,我们计算每个图像特征与每个文本特征的余 …

EVA-01 (CVPR 2023, 🌟highlight🌟) - Exploring the Limits of Masked Visual Representation Learning at Scale. EVA-02 (Image and Vision Computing) - A Visual Representation for Neon Genesis. EVA-CLIP (Arxiv 2023) - Improved Training Techniques for CLIP at Scale. EVA-CLIP-18B (Arxiv 2024) - EVA-CLIP-18B: Scaling CLIP to 18 Billion Parameters