2022年4月27日 · This branch contains the pytorch implementation of ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation and ViTPose+: Vision Transformer Foundation Model for Generic Body Pose Estimation. It obtains 81.1 AP on MS COCO Keypoint test-dev set. Integrated into Huggingface Spaces 🤗 using Gradio.

2022年4月26日 · In this paper, we show the surprisingly good capabilities of plain vision transformers for pose estimation from various aspects, namely simplicity in model structure, scalability in model size, flexibility in training paradigm, and transferability of knowledge between models, through a simple baseline model called ViTPose.

2022年5月30日 · 本文声明的贡献主要有三点： 实验了纯ViT用于人体姿态估计，在 COCO数据集 上取得了SOTA表现。 验证了纯ViT所具有的诸多良好特性：结构简单、模型规模容易扩展、训练灵活、知识可迁移。 在多个benchmark上进行了实验和分析。

VitPose是最近出来的一篇用Transformer结构做人体2D关键点估计的论文，采用比较简单的Transformer结构就能在 MS COCO 测试集上取得比较好的结果，挺吸引人的。 论文不长，这周末读了一遍，感觉值得借鉴的地方挺多，这里我用自己的语言描述论文的细节，同时把自己的一些疑惑和思考写下来，欢迎讨论交流。 论文标题: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation. 论文地址： arxiv.org/abs/2204.1248. 代码地址： github.com/ViTAE …

2022年6月9日 · 在本文中，我们通过使用简单的非分层vision transformer和称为 ViTPose 的简单反卷积解码器进行人体姿态估计，迈出了回答这个问题的第一步。 我们证明了带有 MAE 预训练的普通的vision transformer在对人体姿态估计数据集进行微调后可以获得卓越的性能。 ViTPose 在模型大小和输入分辨率和token数量方面的灵活性方面具有良好的可扩展性。 此外，它可以很容易地使用未标记的姿势数据进行预训练，而不需要大规模的上游 ImageNet 数据。 我们基于具 …

In this paper, we show the surprisingly good capabilities of plain vision transformers for pose estimation from various aspects, namely simplicity in model structure, scalability in model size, flexibility in training paradigm, and transferability of knowledge between models, through a simple baseline model called ViTPose.

Easy to use SOTA ViTPose [Y. Xu et al., 2022] models for fast inference. We provide all the VitPose original models, converted for inference, with single dataset format output.

In this paper, we show the surprisingly good properties of plain vision transformers for body pose estimation from various aspects, namely simplicity in model structure, scalability in model size, flexibility in training paradigm, and transferability of knowledge between models, through a simple baseline model dubbed ViTPose.

2024年8月9日 · ViTPose 是基于 Vision Transformer 的人体姿态估计模型，旨在提供简单而强大的基线。 该项目结合了 NeurIPS'22 和 TPAMI'23 的研究成果，包括“ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation”及后续的增强版本“ViTPose++”。 通过利用Transformer架构，ViTPose 实现了在多个基准数据集上的出色性能。 1. 项目目录结构及介绍. ViTPose 的项目结构精心设计，便于研究人员和开发者快速上手。 以下为主要目录和它们的作 …

京东探索研究院联合悉尼大学 在这方面做出了探索，提出了基于简单视觉 transformer 的姿态估计模型 ViTPose 和改进版本 ViTPose+。 ViTPose 系列模型在 MS COCO 多个人体姿态估计数据集上达到了新的 SOTA 和帕累托前沿。 其中， ViTPose 已收录于 Neurips 2022。 ViTPose + 进一步拓展到多种不同类型的身体姿态估计任务，涵盖动物、人体以及典型的身体骨骼、手、脚、脸部等关键点类型，在不增加推理阶段模型复杂度和计算复杂度的情况下，实现了多个数据集上的最 …