一种基于目标轨迹运动模式的视频浓缩方法

1.本发明属于图像处理和视频监控技术领域，更具体地，是一种基于目标轨迹运动模式的视频浓缩方法。


背景技术：

2.随着计算机网络和视频技术的发展，为了满足公共安全需要，城市中部署了大量的监控摄像头，监控摄像头每天24小时不间断工作，每天捕获并存储巨量的视频数据。但是，浏览视频数据耗时耗力，单凭人力无法及时准确完成海量数据信息获取，如何有效使用视频数据是一个难点问题，视频浓缩技术被用来解决这个问题，它是近年来监控视频领域的一个研究热点。
3.视频浓缩技术是一种基于目标的视频摘要方法，能够将长视频压缩成短视频，用于快速检索和浏览原始监控数据。它是以目标为基本处理单元，通过背景建模提取监控视频背景图片，采用目标检测和实例分割技术获取前景目标，使用目标跟踪技术对连续的前景目标进行匹配关联，生成目标轨迹(也称为目标管)。在时间轴上移动目标轨迹，进行目标轨迹重新排列，将重排后的目标轨迹与背景图片进行图像融合处理，生成浓缩视频。视频浓缩技术不仅消除了源视频中的时间冗余和空间冗余，还很好保留了运动目标的动态特性。
4.但是，视频浓缩技术的运动也带来新的问题：一是视频目标间会产生伪碰撞。源视频中两个没有时间交集的目标轨迹，不可能会出现碰撞，但是处理过程中将目标轨迹在时间轴上移动，则可能会使原本没有碰撞的目标轨迹出现碰撞，称之为伪碰撞。二是目标轨迹重排过程非常耗时。目标轨迹重排是视频浓缩中最重要环节，一般通过设置损失函数，将其转化成多目标最优化问题，采用模拟退火、马尔科夫链蒙特卡洛等方法在全局搜索最优解，大多时候收敛速度慢，非常耗时。三是浓缩视频视觉浏览效果不佳。浓缩视频通常每帧会显示更多的目标，若方向不同速度各异的多个目标汇集到一帧，并且目标之间出现较多伪碰撞时，会影响用户视觉浏览效果。如何在提高浓缩视频压缩率情况下，尽量减少伪碰撞，提高执行效率，以及提升视觉浏览效果，是视频浓缩技术领域需要解决的问题。


技术实现要素：

5.为了解决背景技术中存在的上述技术问题，本发明提供了一种既能提高视频浓缩执行效率和视觉浏览效果又能减少目标间伪碰撞的基于目标轨迹运动模式的视频浓缩方法。
6.本发明的技术解决方案是：本发明提供了一种基于目标轨迹运动模式的视频浓缩方法，该方法包括以下步骤：
7.1)目标轨迹运动模式生成及分组。输入监控视频历史数据，构建模型对视频数据进行训练，生成目标轨迹运动模式及分组；
8.2)基于轨迹运动模式的在线视频浓缩。输入监控视频流，提取视频运动目标轨迹，结合步骤1)轨迹运动模式及分组结果，进行在线视频浓缩处理，生成浓缩视频。
9.上述步骤1)包含以下步骤：
10.11)输入离线监控视频数据，使用深度学习模型进行目标检测、实例分割和目标跟踪，获取每个目标在不同视频帧的实例掩码序列(此实例掩码序列即为目标轨迹)，完成视频中所有运动目标轨迹提取；
11.12)在目标轨迹提取基础上，采用聚类算法对所有目标轨迹进行聚类操作，将目标轨迹聚成不同的类，生成目标轨迹运动模式；
12.13)在目标轨迹运动模式生成基础上，依据碰撞少和方向一致性原则，对目标轨迹运动模式进行划分，生成轨迹运动模式分组。
13.上述步骤2)包含以下步骤：
14.21)输入监控视频流，采用高斯混合模型进行背景建模，提取监控视频背景图片，并设置一定的时间间隔对背景进行更新；
15.22)输入监控视频流，将视频当前帧和背景之间进行减法处理，并通过膨胀和腐蚀操作，获得前景掩码；再使用卡尔曼滤波和匈牙利匹配算法进行目标跟踪，从而提取目标运动轨迹；
16.23)将提取的目标运动轨迹，与目标轨迹运动模式进行匹配，若匹配成功，则自动将该目标轨迹归属于相应的轨迹运动模式分组；若匹配失败，则将该目标轨迹归属于异常轨迹运动模式分组；
17.24)对于属于同一轨迹运动模式分组的目标运动轨迹，采用基于动态搜索空间局部优化的目标轨迹重排方法进行视频浓缩处理；对于属于异常轨迹运动模式分组的目标运动轨迹，定义能量损失函数，进行目标轨迹重排的视频浓缩处理；
18.25)对于每个视频浓缩分组，将重排后的目标轨迹(目标管)，与提取的视频背景图片，采用泊松融合算法按帧进行图像融合处理，将融合后的连续视频帧进行合并，生成浓缩视频。
19.上述步骤12)又包括以下步骤：
20.121)采用等间距最近相邻采样点方法表示目标轨迹，目标轨迹表示为坐标向量其中为算法中使用的对折参数，(xi，yi)为轨迹采样点坐标；
21.122)确定目标轨迹相似度准则，以轨迹坐标向量之间的欧氏距离，作为两条轨迹之间的距离，距离值越小，相似度越高。第i和第j条轨迹之间的距离为d
i，j
，计算公式为：
[0022][0023]
其中，和分别表示为第i条轨迹的第k个采样点的x和y坐标值，为对折参数。
[0024]
123)计算生成轨迹之间距离的相似性度量矩阵，采用dbscan聚类算法，设置邻近点半径γ和核心点最小数目阈值ω，对目标轨迹进行聚类操作，每一个聚类，被认定为是一个目标轨迹运动模式；
[0025]
124)为每一个目标轨迹运动模式，生成一个代表轨迹。将属于同一个聚类的所有目标轨迹的坐标向量，按照采样点分别计算横坐标x的平均值和纵坐标y的平均值，形成代
表轨迹的坐标向量。假定某聚类中有n个目标轨迹，为对折参数，则为轨迹采样点个数，和分别为代表轨迹第k个采样点的x和y坐标，其计算公式为：
[0026][0027][0028]
则代表轨迹的向量坐标为：
[0029]
上述步骤13)又包括以下步骤：
[0030]
131)统计视频中当前运动模式分组中的所有目标检测框大小(包括高度和宽度)，计算所有目标检测框大小平均值；
[0031]
132)将检测框高度和宽度平均值叠加到代表轨迹，使得代表轨迹在每帧都有一个检测框，再计算代表轨迹之间的碰撞值，计算方法是将两条轨迹中所有两两检测框存在交集的像素点数进行求和；
[0032]
133)在直角坐标系中将360度进行θ等分，分别表示θ类方向，再以代表轨迹的起点到终点的连线方向表示代表轨迹的方向，对代表轨迹方向进行归类，以是否属于同一方向类别来判定不同代表轨迹方向之间的关系；
[0033]
134)依据代表轨迹之间碰撞关系和方向关系，将代表轨迹进行分组，每一个分组即为目标轨迹运动模式分组。通过设置碰撞阈值，使得处于一个分组内的代表轨迹之间不存在碰撞或碰撞很小；同时考虑方向关系，优先使能构成环形流的运动模式分到一组，使得后续组内浓缩视频保持流畅性。
[0034]
上述步骤23)又包括以下步骤：
[0035]
231)将提取到的目标运动轨迹，采用等间距最近相邻采样点表示法进行表示，目标运动轨迹表示为坐标向量其中为算法中使用的对折参数，(xi，yi)为轨迹采样点坐标；
[0036]
232)计算目标轨迹与各个运动模式代表轨迹之间所有采样点的距离，以作为判定轨迹之间相似度依据，距离值越小，相似度越高；
[0037]
233)找出距离最短的目标轨迹运动模式，将最短距离记为d
min
，并将该距离与设定阈值α相比较，若d
min
小于等于α，则将该目标轨迹归属于该目标轨迹运动模式，并归属于对应的轨迹运动模式分组；
[0038]
234)若d
min
大于阈值α，则将该目标轨迹归属于异常轨迹运动模式。
[0039]
上述步骤24)又包括以下步骤：
[0040]
241)定义能量损失函数，损失项包括浓缩长度损失项、伪碰撞损失项和时序混乱损失项；能量损失函数公式为：
[0041][0042]
其中，li表示轨迹i在浓缩视频的起始位置，pg代表和轨迹i属于一个运动模式分组的所有轨迹，pc代表和轨迹i属于同一运动模式的所有轨迹。er表示浓缩视频长度损失项，ec表示浓缩视频伪碰撞损失项，e
t
表示浓缩视频轨迹时序混乱损失项。αr，αc，α
t
分别为不同损失项的权重，以平衡不同损失项的作用；
[0043]
242)采用动态搜索空间法确定目标轨迹重排位置的范围；目标轨迹oi在浓缩视频的起始位置li的取值范围是一个动态变化的值，li最小取值记为l
min
，最大值记为l
max
，最小值为该组内已经排列的所有轨迹起始位置的最大值，最大值为该组内已经排列的所有轨迹结束位置的最大值，计算公式为：
[0044][0045][0046]
pc代表和轨迹i属于同一运动模式的所有轨迹，len(ok)表示第i个轨迹的帧长；
[0047]
243)利用能量损失函数和起始位置搜索空间范围，采用局部优化贪婪算法进行组内目标轨迹浓缩重排。
[0048]
上述步骤121)又包括以下步骤：
[0049]
1211)标示目标轨迹的起点和终点坐标，画一条从起点到终点的直线；
[0050]
1212)将直线按照距离间隔等分成份，其中代表对折的次数，通常取值范围为则直线中间添加个分割点；
[0051]
1213)以直线上分割点为圆心，在目标轨迹上寻找离分割距离最近的点，以该点作为目标轨迹的采样点；
[0052]
1214)以目标轨迹的起点和终点，以及(2
ω-1)个采样点组成的坐标向量来表示目标轨迹，坐标向量形式如
[0053]
本发明的有益效果是：
[0054]
(1)采用等间距最近相邻采样点方法表示目标轨迹，更加准确表示了目标轨迹的位置及位置变化信息，对于长度不同的轨迹统一了表示长度，便于轨迹之间距离计算，提升轨迹聚类算法和轨迹匹配的效率和准确率；
[0055]
(2)采用离线视频数据训练生成运动模式和视频流在线视频浓缩两阶段处理方式，训练阶段充分利用历史数据，使得生成的轨迹运动模式更加完整和准确。在线阶段利用已有轨迹运动模式进行匹配，进行动态搜索空间局部最优化目标轨迹重排，提高视频浓缩的执行效率。
[0056]
(3)依据碰撞少和方向一致性原则，进行轨迹运动模式分组，在线阶段将检测到的目标轨迹归属于不同的运动模式分组，在组内进行目标轨迹重排，使得浓缩视频目标间的伪碰撞少，浓缩视频包含处于同一环形流的目标轨迹，使得视觉浏览效果好。
附图说明
[0057]
图1为本发明所提供的视频浓缩方法步骤示意图。
[0058]
图2为本发明等间距最近相邻采样点方法示意图。
[0059]
图3为本发明目标轨迹之间相似性度量方法示意图。
[0060]
图4为本发明目标轨迹运动模式分组示意图。
具体实施方式
[0061]
参见图2，目标轨迹等间距最近相邻采样点方法，先用直线连接轨迹的起点和终
点，根据视频图像分辨率大小，选择以8、16、32或64等分直线。以8等分直线为例，分别以直线上每个分割点为中心进行画圆，在轨迹上寻找最近的点，作为目标轨迹的采样点。轨迹上8个采样点坐标共同组成一个坐标向量，以表示目标轨迹。
[0062]
参见图3，目标轨迹之间相似性度量方法，采用等间距最近相邻采样点方法表示轨迹之后，分别按顺序计算两条轨迹8对采样点的欧氏距离，并将所有距离值相加求和，求得的和就是两条目标轨迹之间的距离。距离值越小，相似度越高。
[0063]
参见图4，共有6组轨迹运动模式，a与b,c与d，e与f是轨迹相似、方向相反的三对轨迹运动模式的代表轨迹，三对代表轨迹之间存在较大的碰撞。运动模式分组的原则是将代表轨迹碰撞少的分到一组，同时组内多个运动模式分组尽可能是一个环形流方向。分组处理后，共分为两组，将a，c和e分到一组，b，d和f分到另一组。
[0064]
参见图1，本发明提供了一种基于目标轨迹运动模式分组的视频浓缩方法，该方法包括：
[0065]
1)目标轨迹运动模式生成及分组。输入监控视频历史数据，构建模型对视频数据进行训练，生成目标轨迹运动模式及分组。
[0066]
上述步骤1)的具体过程如下：
[0067]
11)输入离线监控视频数据，使用yolact 模型进行目标检测和实例分割，再用deepsort模型进行目标跟踪，获取每个目标在不同视频帧的实例掩码序列，此实例掩码序列即为目标轨迹，完成视频中所有运动目标轨迹提取；
[0068]
12)在目标轨迹提取基础上，采用dbscan聚类算法对所有目标轨迹进行聚类操作，将目标轨迹聚成不同的类，生成目标轨迹运动模式；
[0069]
上述步骤12)的具体过程如下：
[0070]
121)采用等间距最近相邻采样点算法表示目标轨迹，目标轨迹表示为坐标向量其中为算法中使用的对折参数，(xi，yi)为轨迹采样点坐标；
[0071]
如图2所示，上述步骤121)的具体过程如下：
[0072]
1211)标示目标轨迹的起点和终点坐标，画一条从起点到终点的直线；
[0073]
1212)将直线按照距离间隔等分成份，其中代表对折的次数，通常取值范围为则直线中间添加个分割点；
[0074]
1213)以直线上分割点为圆心，在目标轨迹上寻找离分割距离最近的点，以该点作为目标轨迹的采样点；
[0075]
1214)以目标轨迹的起点和终点，以及(2
ω-1)个采样点组成的坐标向量来表示目标轨迹，坐标向量形式如
[0076]
122)确定目标轨迹相似度准则，以轨迹坐标向量之间的欧氏距离，作为两条轨迹之间的距离，距离值越小，相似度越高。如图3所示，第i和第j条轨迹之间的距离为d
i，j
，其计算公式为：
[0077]
[0078]
其中，和分别表示为第i条轨迹的第k个采样点的x和y坐标值，为对折参数。
[0079]
123)计算生成轨迹之间距离的相似性度量矩阵，采用dbscan聚类算法，设置邻近点半径γ和核心点最小数目阈值ω，对目标轨迹进行聚类操作，每一个聚类，被认定为是一个目标轨迹运动模式；
[0080]
124)为每一个目标轨迹运动模式，生成一个代表轨迹。将属于同一个聚类的所有目标轨迹的坐标向量，按照采样点分别计算横坐标x的平均值和纵坐标y的平均值，形成代表轨迹的坐标向量。假定某聚类中有n个目标轨迹，为对折参数，则为轨迹采样点个数，和分别为代表轨迹第k个采样点的x和y坐标，其计算公式为：
[0081][0082][0083]
则代表轨迹的向量坐标为：
[0084]
13)在目标轨迹运动模式生成基础上，依据碰撞少和方向一致性原则，对目标轨迹运动模式进行划分，生成轨迹运动模式分组。
[0085]
上述步骤13)的具体过程如下：
[0086]
131)统计视频中当前运动模式分组中的所有目标检测框大小(包括高度和宽度)，计算所有目标检测框大小平均值；
[0087]
132)将检测框高度和宽度平均值叠加到代表轨迹，使得代表轨迹在每帧都有一个检测框，再计算代表轨迹之间的碰撞值，计算方法是将两条轨迹中所有两两检测框存在交集的像素点数进行求和；
[0088]
133)在直角坐标系中将360度进行8等分，分别表示8类方向，再以代表轨迹的起点到终点的连线方向表示代表轨迹的方向，对代表轨迹方向进行归类，以是否属于同一类别来判定不同代表轨迹方向之间的关系；
[0089]
134)如图4所示，依据代表轨迹之间碰撞关系和方向关系，将代表轨迹进行分组，每一个分组即为目标轨迹运动模式分组。通过设置碰撞阈值，使得处于一个分组内的代表轨迹之间不存在碰撞或碰撞很小；同时考虑方向关系，优先使能构成环形流的运动模式分到一组，使得后续组内浓缩视频保持流畅性。
[0090]
2)基于轨迹运动模式的在线视频浓缩。输入监控视频流，提取视频运动目标轨迹，结合步骤1)轨迹运动模式及分组结果，进行在线视频浓缩处理，生成浓缩视频。
[0091]
步骤2)的具体过程如下：
[0092]
21)输入监控视频流，采用高斯混合模型进行背景建模，提取监控视频背景图片，并设置一定的时间间隔对背景进行更新；
[0093]
22)输入监控视频流，将当前帧和背景之间进行减法处理，并通过膨胀和腐蚀操作，获得前景掩码；再使用卡尔曼滤波和匈牙利匹配算法进行目标跟踪，从而提取目标运动轨迹；
[0094]
23)将提取的目标运动轨迹，与目标轨迹运动模式进行匹配，若匹配成功，则自动
将该目标轨迹归属于相应的轨迹运动模式分组；若匹配失败，则将该目标轨迹归属于异常轨迹运动模式分组；
[0095]
上述步骤23)的具体过程如下：
[0096]
231)将提取到的目标运动轨迹，采用等间距最近相邻采样点表示法进行表示。如图2所示，目标运动轨迹表示为坐标向量其中为算法中使用的对折参数，(xi，yi)为轨迹采样点坐标；
[0097]
232)计算目标轨迹与各个运动模式代表轨迹之间所有采样点的距离，以作为判定轨迹之间相似度依据，距离值越小，相似度越高；
[0098]
233)找出距离最短的目标轨迹运动模式，将最短距离记为d
min
，并将该距离与设定阈值α相比较，若d
min
小于等于α，则将该目标轨迹归属于该目标轨迹运动模式，并归属于对应的轨迹运动模式分组；
[0099]
234)若d
min
大于阈值α，则将该目标轨迹归属于异常轨迹运动模式。
[0100]
24)对于属于同一轨迹运动模式分组的目标运动轨迹，采用基于动态搜索空间局部优化的目标轨迹重排方法进行视频浓缩处理；对于属于异常轨迹运动模式分组的目标运动轨迹，直接依据能量损失函数，进行目标轨迹重排的视频浓缩处理；
[0101]
上述步骤24)的具体过程如下：
[0102]
241)定义能量损失函数，损失项包括浓缩长度损失项、伪碰撞损失项和时序混乱损失项；能量损失函数公式为：
[0103][0104]
其中，li表示轨迹i在浓缩视频的起始位置，pg代表和轨迹i属于一个运动模式分组的所有轨迹，pc代表和轨迹i属于同一运动模式的所有轨迹。er表示浓缩视频长度损失项，ec表示浓缩视频伪碰撞损失项，e
t
表示浓缩视频轨迹时序混乱损失项。αr，αc，α
t
分别为不同损失项的权重，以平衡不同损失项的作用；
[0105]
242)采用动态搜索空间法确定目标轨迹重排位置的范围；目标轨迹oi在浓缩视频的起始位置li的取值范围是一个动态变化的值，li最小取值记为l
min
，最大值记为l
max
，最小值为该组内已经排列的所有轨迹起始位置的最大值，最大值为该组内已经排列的所有轨迹结束位置的最大值，计算公式为：
[0106][0107][0108]
pc代表和轨迹i属于同一运动模式的所有轨迹，len(ok)表示第i个轨迹的帧长；
[0109]
243)利用能量损失函数和起始位置搜索空间范围，采用局部优化贪婪算法进行组内目标轨迹浓缩重排。
[0110]
25)对于每个视频浓缩分组，将重排后的目标轨迹(目标管)，与提取的视频背景图片，采用泊松融合算法按帧进行图像融合处理，将融合后的连续视频帧进行合并，生成浓缩视频。