💡💡💡本文创新:魔改SimAM注意力,引入切片操作,增强小目标特征提取能力
💡💡💡问题点:SimAM计算整张特征图的像素差平均值时加权可能会忽略小目标的重要性,同时与整体平均值相比可能和背景信息相似,导致加权增强较弱,进而使得SimAM对小目标的增强能力较差。
💡💡💡本文解决对策:引入了切片操作,当特征图被切成不同的块后,大目标由于其纹理特征明显会影响所在块的平均值,导致其获得的额外加权减少,而合并特征图后,大目标依然可以保持高可识别度甚至获得进一步增强;而小目标的特征与局部平均值差距更大,从而获得更多加权,小目标特征得到增强,即sws模块保证了大、小目标都获得了公正的关注和增强。
💡💡💡Mask mAP50 从原始的0.926 提升至0.932
改进结构图如下:
《YOLOv11魔术师专栏》将从以下各个方向进行创新:
【原创自研模块】【多组合点优化】【注意力机制】【卷积魔改】【block&多尺度融合结合】【损失&IOU优化】【上下采样优化 】【小目标性能提升】【前沿论文分享】【训练实战篇】
【pose关键点检测】【yolo11-seg分割】
定期向订阅者提供源码工程,配合博客使用。
订阅者可以申请,便于报销
💡💡💡为本专栏订阅者提供创新点改进代码,改进网络结构图,方便paper写作!!!
💡💡💡适用场景:红外、小目标检测、工业缺陷检测、医学影像、遥感目标检测、低对比度场景
💡💡💡适用任务:所有改进点适用【检测】、【分割】、【pose】、【分类】等
💡💡💡全网独家首发创新,【自研多个自研模块】,【多创新点组合适合paper 】!!!
☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️ ☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️
包含注意力机制魔改、卷积魔改、检测头创新、损失&IOU优化、block优化&多层特征融合、 轻量级网络设计、24年最新顶会改进思路、原创自研paper级创新等
🚀🚀🚀 本项目持续更新 | 更新完结保底≥80+ ,冲刺100+ 🚀🚀🚀
🍉🍉🍉 联系WX: AI_CV_0624 欢迎交流!🍉🍉🍉
⭐⭐⭐专栏涨价趋势 159 ->199->259->299,越早订阅越划算⭐⭐⭐
💡💡💡 2024年计算机视觉顶会创新点适用于Yolov5、Yolov7、Yolov8、Yolov9等各个Yolo系列,专栏文章提供每一步步骤和源码,轻松带你上手魔改网络 !!!
💡💡💡重点:通过本专栏的阅读,后续你也可以设计魔改网络,在网络不同位置(Backbone、head、detect、loss等)进行魔改,实现创新!!!
☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️ ☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️
1.YOLO11介绍
Ultralytics YOLO11是一款尖端的、最先进的模型,它在之前YOLO版本成功的基础上进行了构建,并引入了新功能和改进,以进一步提升性能和灵活性。YOLO11设计快速、准确且易于使用,使其成为各种物体检测和跟踪、实例分割、图像分类以及姿态估计任务的绝佳选择。
Segmentation 官方在COCO数据集上做了更多测试:
2.数据集介绍
包裹分割数据集是一个精选的图片集合,专门为计算机视觉领域中与包裹分割相关的任务量身定制。这个数据集旨在帮助研究人员、开发者和爱好者们进行与包裹识别、分类和处理相关的项目。
该数据集包含了一系列展示不同背景和环境下各种包裹的多样化图片,是训练和评估分割模型的宝贵资源。无论您从事的是物流、仓库自动化还是任何需要精确包裹分析的应用,包裹分割数据集都提供了一个针对性强且全面的图片集,以提高您的计算机视觉算法的性能。
数据集结构
包装分割数据集的数据分布结构如下:
- 训练集:包含 1920 幅图像及其相应的注释。
- 测试集:由 幅图像组成,每幅图像都与各自的注释配对。
- 验证集:由 188 幅图像组成,每幅图像都有相应的注释。
应用
由包装分割数据集(Package Segmentation Dataset)推动的包装分割对于优化物流、加强最后一英里配送、改进制造质量控制以及促进智能城市解决方案至关重要。从电子商务到安全应用,该数据集是一项关键资源,促进了计算机视觉领域的创新,实现了多样化和高效的包装分析应用。
- 这幅图像显示了图像的一个实例,其特点是注释了边界框,并用掩码勾勒出识别出的对象。该数据集包含在不同地点、环境和密度下拍摄的各种图像。该数据集是开发该任务专用模型的综合资源。
- 这个例子强调了数据集的多样性和复杂性,突出了高质量传感器数据对于涉及无人机的计算机视觉任务的重要性。
标签可视化:
3.原始YOLO11-seg模型性能
3.1 训练结果可视化
YOLO11-seg summary (fused): 265 layers, 2,834,763 parameters, 0 gradients, 10.2 GFLOPs
Class Images Instances Box(P R mAP50 mAP50-95) Mask(P R mAP50 mAP50-95): 100%|██████████| 6/6 [00:10<00:00, 1.79s/it]
all 188 693 0.875 0.921 0.925 0.839 0.9 0.902 0.926 0.809
Mask mAP50 为0.926
MaskPR_curve.png
预测结果如下:
4.原理介绍
源码链接:
摘要:SimAM是一个无神经网络的特征增强模块,具有轻量级的优点,且在提升识别性能方面有潜力,基于此我们设计了新模块sws,之所以加入切片操作是因为SimAM计算整张特征图的像素差平均值时加权可能会忽略小目标的重要性,小目标在航拍图像中占比比较小,与整体平均值相比可能和背景信息相似,导致加权增强较弱,进而使得SimAM对小目标的增强能力较差。
因此我们引入了切片操作,当特征图被切成不同的块后,大目标由于其纹理特征明显会影响所在块的平均值,导致其获得的额外加权减少,而合并特征图后,大目标依然可以保持高可识别度甚至获得进一步增强;而小目标的特征与局部平均值差距更大,从而获得更多加权,小目标特征得到增强,即sws模块保证了大、小目标都获得了公正的关注和增强。
性能如下:
结合YOLO11结构图:
Mask mAP50 从原始的0.926 提升至0.932
YOLO11-seg-SimAMWithSlicing summary (fused): 271 layers, 2,834,763 parameters, 0 gradients, 10.2 GFLOPs
Class Images Instances Box(P R mAP50 mAP50-95) Mask(P R mAP50 mAP50-95): 100%|██████████| 6/6 [00:08<00:00, 1.44s/it]
all 188 693 0.867 0.922 0.929 0.838 0.871 0.924 0.932 0.811
5.系列篇
源码链接: