24,

58]通过有效平衡延迟与精度#xff0c;在该领域占据主导地位。

尽管YOLO的改进多集中在损失函数…【算法介绍】

实时目标检测因其低延迟特性而持续受到广泛关注具有重要的实际应用价值[4,

17,

58]通过有效平衡延迟与精度在该领域占据主导地位。

尽管YOLO的改进多集中在损失函数[8,

35,

58]。

尽管以注意力为核心的视觉变换器ViT架构已展现出强大的建模能力特别是在小模型中[20,

21,

50]但大多数架构设计仍聚焦于CNN这主要受限于注意力机制的效率问题。

具体而言注意力机制面临二次计算复杂度和低效内存访问操作两大挑战后者正是FlashAttention[13,

14]致力于解决的问题。

因此在相似计算预算下基于CNN的架构性能比基于注意力的架构高约3倍[38]这严重阻碍了注意力机制在追求高推理速度的YOLO系统中的应用。

本文旨在应对这些挑战并构建以注意力为核心的YOLO框架——YOLOv12。

我们提出了以下三项关键改进

区域注意力模块A²通过简单地将特征图划分为垂直和水平区域在保持大感受野的同时降低了注意力计算复杂度从而提升了速度。

残差高效层聚合网络R-ELAN解决了注意力机制引入的优化难题特别针对大规模模型。

R-ELAN在原始ELAN[57]的基础上进行了两项改进(i)

重新设计了特征聚合方法。

架构改进针对YOLO系统对传统注意力架构进行了调整包括(a)

引入FlashAttention以解决注意力内存访问问题(b)

将MLP比例从4调整为1.2以平衡注意力与前馈网络的计算量(d)

基于上述设计我们开发了一个包含五种规模N/S/M/L/X的新型实时检测器家族。

遵循YOLOv11[28]的实验设置未使用额外技巧在标准目标检测基准上的大量实验表明YOLOv12在延迟-精度和FLOPs-精度权衡上显著优于先前模型如图1所示。

例如

mAP且速度更快同时以相当速度超越了YOLOv11-N[28]提升1.2%

mAP。

相比RT-DETR-R18[66]和RT-DETRv2-R18[40]YOLOv12-S在mAP上分别提升1.5%和0.1%延迟加快42%计算量仅需其36%参数量仅需其45%。

通过方法论创新和架构改进成功构建了以注意力为核心的简洁高效的YOLO框架打破了CNN模型在YOLO系列中的主导地位。

在不依赖预训练等额外技术的情况下YOLOv12以快速的推理速度和更高的检测精度实现了SOTA结果充分展现了其巨大潜力。

【效果展示】

cython_bbox-0.1.3-cp310-cp310-win_amd64.whl

注意一定要用源码提供cython_bbox进行安装否则会和numpy不兼容。

【视频演示】

[深度学习][python]yolov12bytetrackpyqt5实现目标追踪_哔哩哔哩_bilibili

【调用代码】

int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))

frame_height

int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))

print(video

fps{},width{},height{}.format(frame_fps,

frame_width,

cv2.VideoWriter_fourcc(*mp4v)out

fourcc,

over!)breaktimer.tic()result_list

detector.inference_image(frame)if

len(result_list)0:online_targets

tracker.update(result_list)#print(online_targets)online_tlwhs

[]online_ids

vertical:online_tlwhs.append(tlwh)online_ids.append(tid)online_scores.append(t.score)timer.toc()#print(online_tlwhs)online_im

plot_tracking(frame,

save_file:out.write(online_im)cv2.imshow(frame,

online_im)if

blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/145725555