2019年11月13日 · We present Momentum Contrast (MoCo) for unsupervised visual representation learning. From a perspective on contrastive learning as dictionary look-up, we build a dynamic dictionary with a queue and a moving-averaged encoder. This enables building a large and consistent dictionary on-the-fly that facilitates contrastive unsupervised learning.

Momentum Contrast for Unsupervised Visual Representation Learning. 2019. 本文提出了高效的 contrastive learning 的结构。使用基于 MoCo 的无监督学习结构学习到的特征用于 ImageNet 分类可以超过监督学习的性能。证明了无监督学习拥有巨大的潜力。

We present Momentum Contrast (MoCo) as a way of building large and consistent dictionaries for unsupervised learning with a contrastive loss (Figure1). We maintain the dictionary as a queue of data samples: the encoded repre-sentations of the current mini-batch are enqueued, and the oldest are dequeued. The queue decouples the dictionary

论文Momentum Contrast for Unsupervised Visual Representation Learning[1]和Improved Baselines with Momentum Contrastive Learning[2]的阅读笔记，也就是MoCo v1和MoCo v2，论文和代码链接如下

MoCo 于2019年11月13在 CVPR发表，并获得 CVPR2020 最佳论文提名，它是用一种 对比学习的方式进行无监督训练 的模型。 MoCo 是第一个在很多主流的机器视觉领域上（比如分类、检测、分割、人体关键点检测等），都超越了有监督预训练模型的无监督模型，从某种程度上证明了无监督学习在机器视觉领域，也能达到很好的效果。 MoCo 这个词，来自于论文标题的前两个单词 动量对比Momentum Contrast。 首先介绍一下什么是动量。 是当前时刻的输入，m就是动量。 …

2024年8月20日 · moco于2019年11月13在 cvpr发表，并获得 cvpr2020最佳论文提名，它是用一种对比学习的方式进行无监督训练的模型。 MoCo是第一个在很多主流的机器视觉领域上（比如分类、检测、分割、人体关键点检测等），都超越了有监督预训练模型的无监督模型，从某种程度上 ...

2023年11月30日 · moco于2019年11月13在 cvpr发表，并获得 cvpr2020最佳论文提名，它是用一种对比学习的方式进行无监督训练的模型。 MoCo 是第一个在很多主流的机器视觉领域上（比如分类、检测、分割、人体关键点检测等），都超越了有监督预训练模型的无监督模型，从某种程度上 ...

Abstract: We present Momentum Contrast (MoCo) for unsupervised visual representation learning. From a perspective on contrastive learning as dictionary look-up, we build a dynamic dictionary with a queue and a moving-averaged encoder.

2020年4月9日 · Self-Supervised Learning : MoCo(2019) Abstract. Dictionary와 Contrastive Learning을 이용한 unsupervised learning 방법인 MoCo를 제안한다. 1. Introduction. 이미지는 high-dimensional space에 존재하는 연속적인 데이터로 언어처럼 구조화되지 않고 따라서 tokenized dictionaries를 만들기 어렵다.

Install PyTorch and ImageNet dataset following the official PyTorch ImageNet training code. This repo aims to be minimal modifications on that code. Check the modifications by: This implementation only supports multi-gpu, DistributedDataParallel training, which is faster and simpler; single-gpu or DataParallel training is not supported.