MMAction2 目前发布的 0.10.0 版本复现了视频理解领域中不少 baseline 和 SOTA 模型，如 TSN, TSM, I3D, SlowFast 等经典算法，并且精度更高，比如我们的 CSN 在 Kinetics400 的验证集上的 Top-1 精度可达到 82.76。

Support five major video understanding tasks: MMAction2 implements various algorithms for multiple video understanding tasks, including action recognition, action localization, spatio-temporal action detection, skeleton-based action detection and video retrieval.

Our first contribution is temporal segment network (TSN), a novel framework for video-based action recognition. which is based on the idea of long-range temporal structure modeling. It combines a sparse temporal sampling strategy and video-level supervision to enable efficient and effective learning using the whole action video.

2023年9月28日 · 文章详细指导了在MMAction2中使用ResNet50构建TSN模型，涉及数据集准备、配置修改、训练可视化等步骤。 1.推理. 在MMAction的根目录下执行如下命令： 执行命令后可以看到控制台中打印的推理结果（如下图）： 2.准备 数据集. 下载官方预先准备的数据集kinetics400_tiny.zip，并将其解压到 MMAction2 根目录下面。 或者在命令行执行以下操作： 3.修改配置文件（指定 训练集 和训练参数） 使用resnet50作为主干网络来训练TSN。

2023年8月25日 · My challenge is understanding how to construct a CSV similar to the standard feature. According to the Doc. eeach standard CSV should be composed of 400 features (representing 400 classes) and have 100 lines. To achieve this CSV format, I need to extract the relevant features and save them as a .pkl file.

2024年2月26日 · 时间敏感网络TSN（Time-Sensitive Networking）是IEEE 802.1定义的新一代网络标准技术，能够在以太网中提供传输时间确定的报文转发，用于构建更可靠的、低延迟、低抖动的以太网。

结合以上提到的问题，本文提出了一个通用且高效的时间转换模块 (TSM)。 具体来说， 它可以实现3D CNN的性能，但保持了2D CNN相对较小的计算量。 那么TSM到底是怎么做的呢？ TSM在时间维度上移动了部分通道，从而促进相邻帧在信息之间的交流。 而这一操作插入到2D CNN中又基本算是实现了在零计算量的情况下对时间轴信息建模。 作者还将TSM扩展到了在线视频的检测，表现实时、低延迟，准确且高效，在文章发表日为止，在Something-Something数据集上表现排 …

我们对这些预处理方法进行了基准测试，您可以在 TSN 数据基准测试 和 SlowOnly 数据基准测试 中找到结果。 我们有用于处理视频和帧的两个处理流水线。 对于视频，我们应该在处理流水线中动态解码视频，所以在这种情况下应该使用 DecordInit & DecordDecode 、 OpenCVInit & OpenCVDecode 或 PyAVInit & PyAVDecode 这样的配对，例如 这个示例。 对于帧，图像已经在离线状态下解码，所以在这种情况下应该使用 RawFrameDecode 这样的处理流水线项，例如 …

2023年3月31日 · TSN-Pytorch 我们已经发布了 ，这是一个基于PyTorch的成熟的动作理解工具箱。 它包括用于 TSN 的实现以及用于各种任务的其他STOA框架。 我们在此回购中吸取的教训已纳入 MMAction 中，以使其更具吸引力。

TSN（Time-Sensitive Networking）时间敏感网络，即在非确定性的以太网中实现确定性的最小时间延时的协议族，是 IEEE 802.1 工作组中的TSN工作组开发的一套协议标准，定义了以太网数据传输的时间敏感机制，为标准以太网增加了确定性和可靠性，以确保数据实时、确定 ...