DeepSort算法介绍

4.使用匈牙利算法将预测后的tracks和当前帧中的detections进行匹配

卡尔曼滤波更新

YOLOv8是由Ultralytics公司开发的最新一代目标检测算法它是YOLO系列的一次重大更新支持图像分类、物体检测和实例分割等多种视觉AI任务

。

YOLOv8在继承了YOLO系列优点的基础上进行了速度和精度的进一步优化具有更快的推理速度和更高的检测精度

网络架构采用了轻量级的网络架构引入了注意力机制优化了网络结构减少了冗余计算

。

损失函数使用了多任务损失函数结合了分类损失和定位损失引入了IOU损失函数更好地处理重叠目标

。

数据增强在训练过程中应用了多种数据增强技术如随机裁剪、旋转和缩放提高了模型的泛化能力和鲁棒性

YOLOv8的实际应用非常广泛它在安防监控、自动驾驶、智能家居等领域都有应用前景

。

此外YOLOv8的开源库被定位为算法框架具有很好的可扩展性不仅可以用于YOLO系列模型还支持非YOLO模型以及分类分割姿态估计等任务

YOLOv8的创新之处在于它结合了当前多个SOTA技术包括一个新的骨干网络、Ancher-Free检测头和新的损失函数能够在多种硬件平台上运行

。

YOLOv8的Backbone采用了C2f模块代替C3模块增加了梯度流提高了模型性能和收敛速度

。

同时YOLOv8的Head部分采用了解耦头结构将分类和检测头分离并从Anchor-Based变成了Anchor-Free

YOLOv8的训练策略也有所改进训练总epoch数从300提升到了500有助于进一步提升模型性能

。

此外YOLOv8还引入了TaskAlignedAssigner正样本分配策略和Distribution

Focal

在性能方面YOLOv8在COCO数据集上的测试结果表明相比YOLOv5YOLOv8在精度上有了显著提升但相应的参数量和FLOPs也有所增加

。

尽管如此YOLOv8依然保持了较高的推理速度适用于实时目标检测任务

2DeepSort算法介绍

DeepSORT是一种计算机视觉目标跟踪算法旨在为每个对象分配唯一的ID并跟踪它们。

它是SORTSimple

Online

Tracking简单在线实时跟踪算法的扩展和改进版本。

SORT是一种轻量级目标跟踪算法用于处理实时视频流中的目标跟踪问题。

DeepSORT引入了深度学习技术以加强SORT的性能并特别关注在多个帧之间跟踪目标的一致性。

SORT目标追踪

是一种对象跟踪方法其中使用卡尔曼滤波器和匈牙利算法等基本方法来跟踪对象并声称比许多在线跟踪器更好。

SORT

个关键组件组成

检测首先在跟踪流程的第一步目标检测器被用来检测当前帧中需要跟踪的目标对象。

常用的目标检测器包括Faster

R-CNN、YOLO等。

估计在估计阶段检测结果从当前帧传播到下一帧使用恒速模型来估计下一帧中目标的位置。

当检测结果与已知的目标相关联时检测到的边界框信息用于更新目标的状态包括速度分量这是通过卡尔曼滤波器框架来实现的。

数据关联在数据关联步骤中目标的边界框信息与检测结果结合从而形成一个成本矩阵该矩阵计算每个检测与已知目标的所有预测边界框之间的交并比IOU距离。

然后使用匈牙利算法来优化分配以确保正确地将检测结果与目标关联起来。

这个技术有助于解决遮挡问题并保持目标的唯一身份。

管理目标ID的创建与删除跟踪模块负责创建和销毁目标的唯一身份ID。

如果检测结果与目标的IOU小于某个预定义的阈值通常称为IOUmin则不会将检测结果与目标相关联这表示目标未被跟踪。

此外如果在连续TLost帧中没有检测到目标跟踪将终止该目标的轨迹其中TLost是一个可配置的参数。

如果目标重新出现跟踪将在新的身份下恢复。

3实现流程

在每一帧中目标检测器识别并提取出边界框bbox这些边界框表示在当前帧中检测到的目标物体。

def

self.detector(cv_src)pred_boxes

[]for

int(boxes[i][0]),int(boxes[i][1])x2,y2

int(boxes[i][2]),int(boxes[i][3])lbl

print(class_ids[i])#

[person,sack,elec,bag,box,caron]:#

continuepred_boxes.append((x1,y1,x2,y2,lbl,class_ids[i]))return

cv_src,pred_boxes2.

从这些检测到的边界框中生成称为detections的目标检测结果。

每个detection通常包含有关目标的信息如边界框坐标和可信度分数。

deep_sort.py

过滤掉置信度小于self.min_confidence的bbox生成detectionsdetections

conf,

(这里self.nms_max_overlap的值为1即保留了所有的detections)boxes

np.array([d.tlwh

对于已知的跟踪对象“tracks”在下一帧中进行卡尔曼滤波预测以估计其新的位置和速度。

track.py

该track自出现以来的总帧数加1self.time_since_update

该track自最近一次更新以来的总帧数加14.使用匈牙利算法将预测后的tracks和当前帧中的detections进行匹配

这是DeepSORT中的核心步骤。

DeepSORT使用匈牙利算法来将预测的tracks和当前帧的detections进行匹配。

这个匹配可以采用两种级联方法首先通过计算马氏距离来估算预测对象与检测对象之间的关联如果马氏距离小于指定的阈值则将它们匹配为同一目标。

其次DeepSORT还使用外观特征余弦距离度量通过一个重识别模型获得不同物体的特征向量然后构建余弦距离代价函数以计算预测对象与检测对象的相似度。

这两个代价函数的结果都趋向于小如果边界框接近且特征相似则将它们匹配为同一目标。

tracker.py

detection_indices):基于外观信息和马氏距离计算卡尔曼滤波预测的tracks和当前时刻检测到的detections的代价矩阵features

for

基于外观信息计算tracks和detections的余弦距离代价矩阵cost_matrix

targets)#

linear_assignment.gate_cost_matrix(self.kf,

cost_matrix,

t.is_confirmed()]unconfirmed_tracks

for

\linear_assignment.matching_cascade(gated_metric,

self.metric.matching_threshold,

detections,

tracks中time_since_update为1的tracks进行IOU匹配iou_track_candidates

unconfirmed_tracks

ifself.tracks[k].time_since_update

1]unmatched_tracks_a

ifself.tracks[k].time_since_update

1]matches_b,

\linear_assignment.min_cost_matching(iou_matching.iou_cost,

matches_a

matching_cascade(distance_metric,

max_distance,

detection_indicesNone):...unmatched_detections

[]#

当前level的所有tracks索引track_indices_l

for

min_cost_matching(distance_metric,

max_distance,

匹配后DeepSORT使用检测到的detections来更新每个已知的跟踪对象的状态例如位置和速度。

这有助于保持跟踪对象的准确性和连续性。

def

management.Parameters----------detections:

List[deep_sort.detection.Detection]A

list

得到匹配对、未匹配的tracks、未匹配的dectectionsmatches,

unmatched_tracks,

对于每个匹配成功的track用其对应的detection进行更新for

track_idx,

matches:self.tracks[track_idx].update(self.kf,

track_idx

unmatched_tracks:self.tracks[track_idx].mark_missed()#

对于未匹配成功的detection初始化为新的trackfor

detection_idx

unmatched_detections:self._initiate_track(detections[detection_idx])...4代码实现

网址MuhammadMoinFaisal/YOLOv8-DeepSORT-Object-Tracking:

YOLOv8

ultralytics/yolo/v8/detect接着得去下面的网址下载一个DeepSORT文件

https://drive.google.com/drive/folders/1kna8eWGrSfzaR6DtNJ8_GchGgPMv3VC8?uspsharing

然后运行