2025年3月13日 · 单头注意力机制（SHSA）：提出了一种单头自注意力模块，避免了多头注意力机制中的冗余，同时通过并行结合全局和局部信息来提升准确性。 综合性能优化：通过结合上述设计，提出了SHViT（单头视觉Transformer），在多种设备上实现了速度和准确性的最佳平衡 ...

2024年4月26日 · SHSA层不仅消除了由多头机制引起的计算冗余性，而且通过处理部分通道降低了内存访问成本。 此外，这些效率使得能够在相同的计算预算内堆叠更多具有更大宽度的块，从而提高性能。 基于这些发现，我们提出了一种基于内存高效设计原则的单头视觉转换器（SHViT），作为一个新的网络家族，它在各种设备上运行得非常快。 实验表明，我们的SHViT在分类、检测和分割任务上在速度和准确性方面都达到了最先进的性能，如图1所示。

2024年12月30日 · 而 单头自注意力 (SHSA)作为一种高效的注意力机制，也在视觉任务中展现了其独特的优势。 其通过在输入通道的一部分上应用单头注意力来减少计算冗余，同时保留全局和局部信息的结合，从而提高了效率和准确性。 接下来，本文先介绍SHSA基本原理，然后探讨如何将SHSA与YOLOv11结合，以进一步提升目标检测的效率和准确性。 1. 单头自注意力Single-Head Self-Attention（SHSA）结构介绍. SHSA通过仅对部分输入通道应用单头注意力，减少了计算 …

2025年1月3日 · 而 单头自注意力 (SHSA) 作为一种高效的注意力机制，也在视觉任务中展现了其独特的优势。 其通过在输入通道的一部分上应用 单头注意力来减少计算冗余，同时保留 全局和局部 信息的结合，从而提高了效率和准确性。 接下来，本文先介绍SHSA基本原理，然后探讨如何将SHSA与YOLOv11结合，以进一步提升目标检测的效率和准确性。 代码： YOLOv8_improve/YOLOv11.md at master · tgf123/YOLOv8_improve. 1. 单头自注意力Single …

2025年1月1日 · SCSA由可共享 多语义空间注意力 （SMSA）和 渐进通道自注意力 （PCSA）两部分组成，通过整合多语义信息并有效引导通道再校准，实现了性能的提升。 多语义空间注意力：利用多尺度深度共享的1D卷积捕获多语义空间信息，增强了局部和全局特征表示。 渐进通道自注意力：采用输入感知的自注意力来细化通道特征，有效缓解语义差异，确保跨通道的稳健特征整合。 协同作用：通过空间注意力引导通道注意力学习，实现了空间与通道注意力的有效协 …

本文记录的是利用单头自注意力shsa改进yolov11检测模型，详细说明了优化原因，注意事项等。 传统的 自注意力机制 虽能提升性能，但 计算量大 ， 内存访问成本高 ，而 SHSA 从根本上避免了多注意力头机制带来的计算冗余。

2024年4月1日 · 在本节中，作者首先验证所提出的单头自注意力（shsa）层的效果，然后对shsa层的部分比例值进行简化的消融研究。结果在表6中提供。 shsa的有效性。

本文记录的是利用单头自注意力shsa改进yolov11检测模型，详细说明了优化原因，注意事项等。 传统的自注意力机制虽能提升性能，但计算量大，内存访问成本高，而 SHSA 从根本上避免了多注意力头机制带来的计算冗余。

通过使用小波变换将输入特征无损地分解为高频和低频分量并分别处理它们来减轻特征失真，通用创新点：自适应xx模块 is all you need，池化协同注意力：计算量砍半，准确率反升15%的'作弊'方案" | 即插即用模块与论文写作【V1代码讲解119】，CV| 即插即用模块| EfficientViMBlock (隐藏状态空间对偶Mamba模块),来自CVPR2025！ 可有效捕获全局依赖关系并进一步降低计算成本！

2025年2月19日 · 适用于所有的CV二维任务：图像分割、超分辨率、目标检测、图像识别、低光增强、遥感检测等. 助力快速发论文、模型涨点！ Group Normalization with 1 group. Input: tensor in shape [B, C, H, W] """ 宏观设计层面：传统的高效 模型 大多采用4×44×44×4的patchify stem 和 4阶段配置，存在空间冗余，导致早期阶段速度瓶颈且内存访问成本高。 研究发现采用更大步长的16×1616×1616×16patchify stem 和 3阶段设计可减少空间冗余，降低内存访问成本，提高性能 …