认真的读了一下论文，还是对He表示大大的钦佩，非常细致的工作。 首先MoCo v3不应该是这篇论文的重点，这篇论文的重点应该是将目前无监督学习最常用的对比学习应用在ViT上。MoCo v3相比v2去掉了memory queue，转而像SimCLR那样采用large batch来取得稍好一点的结果，从结构上encoder f_k 借鉴BYOL那样增加了 ...

MoCo （Momentum Contrast）是一种自监督学习方法，旨在通过对比学习来提高视觉表示的质量。 MoCo v1是MoCo方法的第一个版本，它通过构建一个 动量编码器 和一个目标编码器的对比学习框架，实现了在无标签数据上进行自监督学习。

MoCo的灵活度也好，电脑控制跟焦也好，都比摇臂和轨道都要方便，功能也丰富很多，不方便的地方就是：机器本身太笨重，且价格太贵，剧组用的话一般都是租赁。 据《唐山大地震》时的拍摄记录说是MoCo一天的租金是3万多，两个英国助手一天就要1000美元。

通常，MoCo是用来进行自监督学习的，因此你需要一个大型的数据集，例如ImageNet。 确保数据集已正确准备，并且可以通过Python接口访问。 3、导入所需库和模型： 在Jupyter Notebook的代码单元格中导入所需的库，包括PyTorch、torchvision以及MoCo v3模型实现的相关模块。

MOCO方法在非监督学习领域取得了非常好的效果，但是如何将它应用到分割任务，我有两点疑问。 MOCO方法要计算相关性当做loss，如果是分类任务，那么…

这听起来是一个非常简单的idea，但是这个方法真的有效，最早该loss function被应用在（视觉）自监督学习中应该是在2019年的论文CPC中 [4]（我的印象中是这样，如果有人知道更早的也可以告诉我），被“发扬光大”则是在今天提到的三篇论文中的第一篇MoCo中。

《飞狗moco》是一部动画片，讲述了飞狗moco的冒险故事。

模型训练的时候一般把epoch设置多大达到模型收敛，为啥设置很多还是一直不能收敛呢？acc一直在80%左右，…