2023年12月27日 · We propose PG-Video-LLaVA, the first video-based LMM with pixel-level grounding capabilities, featuring a modular design for enhanced flexibility. Our framework uses an off-the-shelf tracker and a novel grounding module, enabling it to spatially ground objects in videos following user instructions.

2023年11月22日 · We evaluate PG-Video-LLaVA using video-based generative and question-answering benchmarks and introduce new benchmarks specifically designed to measure prompt-based object grounding performance in videos.

PG-Video-LLAVA 通过提取对全面视频理解至关重要的时空特征来增强基于图像的对话模型。 它包含过滤后的音频转录本，以丰富音频线索至关重要的视觉场景的解释。

2023年11月24日 · 我们使用基于视频的生成和问答基准对PG-Video-LLaVA进行评估，并引入了专门设计的新基准，以衡量基于提示的视频对象定位性能。 此外，我们提出在视频对话 基准测试 中使用Vicuna而不是G. PG-Video-LLaVA: Pixel Grounding Large Video-Language Models 地址：https://arxiv.org/pdf/2311.13435.pdf 标题：PG-Video-LLaVA: 具备像素级定位能力的大型视频-语言模型 摘要：将基于图像的大型多模态模型（L…

Improving everyday life through #PGInnovation and constructive disruption since 1837. Learn more about our films and projects. https://us.pg.com/widen-the-screen/ Let’s widen the screen, so we...

2024年2月16日 · Addressing these gaps, we propose PG-Video-LLaVA, the first LMM with pixel-level grounding capability, integrating audio cues by transcribing them into text to enrich video-context understanding. Our framework uses an off-the-shelf tracker and a novel grounding module, enabling it to spatially localize objects in videos following user instructions.

•PG-Video-LLaVA is a novel video-based conversational model with pixel-level grounding capabilities •Novel addition of filtered audio transcripts to enrich visual understanding •Grounding module to track and generate pixel-level object grounding in videos •Improved and reproducible quantitative benchmarks by switching

2023年11月22日 · PG - Video - LLaVA使用了VideoChatGPT数据集，该数据集包含了来自ActivityNet - 200的100K视频指令，并辅以作者的3K多样化的、人工标注的视频指令。 模型结构 左侧为Grounding模块，中间为基本结构，右侧为音频模块

首创的视频多模态模型：PG-Video-LLaVA 是第一个具备像素级别对准功能的视频大型多模态模型，其模块化设计显著提高了模型的灵活性。 该框架利用现成的追踪器和一个新颖的对准模块，可以按照用户指令在视频中空间定位对象。 新基准测试：项目引入了一个新的基准，专门用于测量基于提示的对象对准表现，有助于在视频中实现更精准的对象定位。 音频融合提升理解：通过加入音频上下文，PG-Video-LLaVA 能够更全面地理解视频内容，特别适用于需要音频信号以完善视频 …

List your movie, TV & celebrity picks. 1. Home Alone 3. 2. Home Alone 2: Lost in New York. 3. Home Alone. 4. The Prince and the Surfer. 5. Scavenger Hunt. 6. Hocus Pocus. 7. Fantastic Mr. Fox. 8. The Goonies. 9. Hook. 10. Jumanji. 11. Harry Potter and the Sorcerer's Stone. 12. Surf Ninjas. 13. Simon Birch. 14. Clue. 15. Masters of the Universe. 16.