2022年5月1日 · Specifically, as the VRD adopts pipeline-based methods, the VRD first utilises a ZSD detector to detect humans and novel objects (i.e., boxes and labels) in the image, then leverages the ZSHOI model to perform novel action detection using this information, and finally outputs the triplets, as shown in Fig. 2.

ZSD-YOLO is a zero-shot detector initially described in this paper based on the popular YOLOv5 detector that leverages CLIP vision language models to perform embedding alignment. Our paper describes a self-labeling method and modified nms operation tailored to the zero-shot detection (ZSD) problem also implemented in this repository.

The latter uses prior information to initialize the Visual Relationship Detector (VRD), which includes ZSD and ZSHOID models and can detect new HOI triplets from the image. The backward process utilizes GCN to extract semantic embeddings from HOI relationship graph, thereby enhancing the prior information and improving the VRD performance.

2024年8月9日 · 视觉关系检测（Visual Relationship Detection，简称VRD）旨在识别和理解图像中物体之间的语义关系。 这种关系通常是成对的，并且可以用一个谓词（predicate）来描述物体间的相互作用或连接方式。

Download pre-trained model of faster-rcnn on VRD dataset from https://share.weiyun.com/5skGi9N, and the file names are 'vrd_vgg_pretrained.ckpt.data …

2024年12月27日 · ZSD-YOLO，这是一个零样本检测器，它在COCO数据集上两个主要的零样本检测设置中超越了之前所有的零样本检测结果。 此外，我们设计了一种自标记方法，可以在不需要新数据或标签的情况下提高零样本检测性能。 我们探索了传统扩展方法对零样本检测任务的影响，并发现典型的模型扩展可以很好地转移到我们的架构中，从而创建一系列高效准确的零样本检测器。 零样本检测（Zero-shot Detection, ZSD） [1]是目标检测领域的一个重要研究方向，因为 …

2023年3月18日 · 本文提出了一个自下而上的方法，在多个基于视觉和语言模型的数据集中训练一个统一的视觉关系检测（VRD）模型。 得到的检测器在两个VRD任务（人与物体的交互检测和场景图的生成）上显示了在特定数据集和统一配置下的竞争性性能。

我们提出了一个模型，该模型使用这种洞察力单独训练对象和谓词的视觉模型，然后将它们组合在一起以预测每个图像的多个关系。 我们通过利用语义词嵌入中的语言先验来微调预测关系的可能性，从而改进先前的工作。 我们的模型可以扩展以从几个示例中预测数千种类型的关系。 此外，我们将预测关系中的对象定位为图像中的边界框。 我们进一步证明了理解关系可以改进基于内容的图像检索。 一个包含 5000 张图像和 3799.3 万个关系的数据集。 该数据集包含 100 个对象类别 …

【 VRDとは 】 電気機器の誤作動や機器停止の原因となるサージ。 それらを防ぐためにサージアブソーバは必要不可欠です。 SEMITECのシリコンサージアブソーバVRDは、立ち上がりの急峻なサージ電圧を吸収する為に開発されたサージアブソーバです。

Download VRD Dateset (image, annotation, backup) and put it in the path ~/data. Replace ~/data/sg_dataset/sg_test_images/4392556686_44d71ff5a0_o.gif with …