2024年11月7日 · 论文: SAM4MLLM: Enhance Multi-Modal Large Language Model for Referring Expression Segmentation. 提出了一种允许 MLLM 理解像素级细节的方法 SAM4MLLM，无需改变 MLLM 模型架构、引入新标记或使用额外损失，该方法简单但对引用表达分割（RES）非常有效。 为了连接 MLLM 和 SAM，引入了一种新颖的方法，通过主动询问语言系统来获取提示点线索。 在各种 RES 基准上进行实验，包括 RES 数据集、 GRES 和 ReasonSeg，验证了 SAM4MLLM …

2023年12月29日 · 结合SAM和弱监督水平盒检测实现旋转盒检测，从此告别对旋转盒进行标注的繁琐任务! 我们提供了一套基于MMRotate和SAM的应用程序。其特点包括： 支持使用 SAM 进行零样本旋转目标检测。 在单个图像上执行基于 SAM 的零样本面向对象检测推理。

2024年10月8日 · SAM 2 是 Meta 的Segment Anything Model (SAM) 的后续产品，是一款专为图像和视频中的综合对象分割而设计的尖端工具。 它采用统一、可提示的模型架构，支持实时处理和零镜头泛化，在处理复杂的视觉数据方面表现 出 色。

由于sam的image encoder模块已经训练的比较好，该模块不需要训练。 可以调用 SamPredictor .set_image和SamPredictor.set_torch_image处理原始图像，主要就是将图像通过按长边缩放成1024，短边不够就pad成1024，再转成torch的tensor，调用模型image encode提取图像特征。

支持 MMDet 模型经典检测模型 (Closed-Set)，典型的如 Faster R-CNN 和 DINO 等串联 SAM 模型进行自动检测和实例分割标注; 支持 Open-Vocabulary 检测模型，典型的如 Detic 串联 SAM 模型进行自动检测和实例分割标注

2023年5月31日 · SAM (Segment Anything) 是 Meta AI 推出的分割一切的模型。 Label Studio 是一款优秀的标注软件，覆盖图像分类、目标检测、分割等领域数据集标注的功能。 本文使用喵喵数据集的图片，进行半自动化标注。视频版本的也为大家准备好啦，结合视频食用效果更好哦！ 环境 ...

We develop MM-SAM, an extension and expansion of SAM that supports cross-modal and multi-modal processing for robust and enhanced segmentation with different sensor suites. MM-SAM features two key designs, namely, unsupervised cross-modal transfer and weakly-supervised multi-modal fusion, enabling label-efficient and parameter-efficient ...

2023年10月17日 · 首先回顾一下经典的 ViT 的结构. 然后再看SAM的整个image encoder： 输入的图像会resize到 1024\times1024 ，然后通过一个卷积核为16且步长为16的卷积下采样到 64\times64 ，之后加入位置编码送入Transformer Block中。 下面的代码对应上图中的attn模块： """Multi-head Attention block with relative position embeddings.""" def __init__( self, dim: int, num_heads: int = 8, qkv_bias: bool = True, use_rel_pos: bool = False,

We introduce the Segment Anything (SA) project: a new task, model, and dataset for image segmentation. Using our efficient model in a data collection loop, we built the largest segmentation dataset to date (by far), with over 1 billionmasks on 11M licensed and privacy respecting images.

2024年8月8日 · Meta 公司去年发布了 SAM 1 基础模型，已经可以在图像上分割对象。而最新发布的 SAM 2 可用于图片和视频，并可以实现实时、可提示的对象分割。SAM 2 在图像分割准确性方面超越了以往的能力，在视频分割性能方面优于现有成果，同时所需的交互时间减少了三倍。