一种基于运动轨迹分析监控视频检测高空抛物的方法与流程

1.本发明涉及视频分析处理技术领域,更具体的说是涉及一种基于运动轨迹分析监控视频检测高空抛物的方法。


背景技术：

2.由于国内基建技术的突飞猛进,国内建筑物的建筑高度也在不断地刷新, 城市建设中楼房的密集度也在不断提升,这也造成了高空抛物的安全隐患问题的显露。以往没有重视高空抛物的问题时,即使有人因高空抛物受伤也很难追溯事件的起因与本源,对公众的生活安全造成了极大的困扰。同时有的即使没有造成人身伤害,高空抛物掉落的垃圾物品也会造成环境的污染。现有技术中通常会在楼下的监测区域安装用于实时监测的摄像头,通过摄像头进行视频监控,等到发生问题时再进行视频的追溯查询事件的起源。但是依然存在以下问题,追溯需要等到后期问题出现，且相关人员发现问题后主动进行追溯查询才能了解事件的原委。不具有实时监控,检测是否存在高空抛物的问题。
3.已有技术在进行轨迹跟踪时无法处理目标分裂、目标重叠等问题，导致漏检或误检高空抛物事件；针对雨雪天气、大风吹动摄像机剧烈抖动等不利因素，本发明采用了简单的规则，在发现此类不利因素时使算法休眠，避免误检；已有技术通常依据简单的规则判定是否下落，例如拟合抛物线等，但在监控画面中真实的落物轨迹可能不符合抛物线规则(由于投影形变，风吹等因素)；针对常见的误报目标，例如飞鸟、灰尘和飞虫，本发明引入了基于深度学习的过滤器，进一步减少告警误报。
4.因此采用了一组统计量对轨迹进行判定和过滤，找出抛物轨迹和常见误报轨迹的规律，减少漏报和误报，提出了一种基于有向图的轨迹描述方式，能够很好地处理轨迹分裂和聚合问题。


技术实现要素：

5.有鉴于此，本发明提供了一种能够解决轨迹分叉和聚合问题并能够深度学习的基于运动轨迹分析监控视频检测高空抛物的方法。
6.为实现上述目的，本发明提供如下技术方案：一种基于运动轨迹分析监控视频检测高空抛物的方法，具体流程为：
7.一，运动目标检测：用三帧差法检测运动目标；
8.二，算法休眠判定：当发现存在大量前景目标时(例如雨雪天气，相机抖动或被移动等)，算法休眠一段时间，以避免大量前景目标造成高空抛物误检，以及给硬件带来过大压力；
9.三，运动目标跟踪：基于sde(separate detection and embedding)的多目标跟踪算法。顾名思义其原理是先对多帧目标进行检测，然后根据目标相似度将不同帧之间的相同目标进行关联从而产生目标的运动轨迹；
10.四，下落判定：4.1基于最近一段短轨迹(下落距离d，时间t帧)判定目标是否正在
下落，在下落判定时，本发明可以将图像坐标转换到世界坐标中进行计算，从而得到更准确的结果；4.2基于该较短轨迹的统计量对轨迹进行过滤，以排除误报；
11.五，误报过滤：5.1全轨迹告警过滤：在目标离开视野后，基于完整轨迹过滤误报；5.2误报目标过滤：基于轨迹上的目标截图过滤误报。
12.经由上述的技术方案可知，与现有技术相比，本发明采用隐式的跟踪轨迹表示方式：当前帧的每个目标匹配其前一帧中的一个或多个目标，前一帧中的每个目标亦匹配当前帧中的一个或多个目标；所有目标的运动轨迹表示为一个有向图，而非若干条独立的链条；这解决了轨迹分叉和聚合的问题；在下落判定时，对从当前目标出发的所有轨迹路径进行判定，避免了单一轨迹可能产生中断而导致目标丢失的问题。下落判定时，基于场景标定信息判定下落方向与真实世界中的地面垂线方向的夹角，而不是相对图像纵轴的夹角，能够适应画面投影形变、摄像机非直立安装等情况；短轨迹与全轨迹结合的告警过滤策略，能够有效过滤误报，同时避免了简单的抛物线拟合所无法应对的各类复杂轨迹问题，例如轻物体(纸盒等)在风吹下的复杂轨迹，物体碰撞墙面来回反弹形成的复杂轨迹等；基于深度学习图像分类模型对目标截图进行判定，有效过滤飞鸟、飞虫等各类误报。
具体实施方式
13.下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
14.本发明公开的一种基于运动轨迹分析监控视频检测高空抛物的方法，具体流程为：
15.一，运动目标检测：用三帧差法检测运动目标；
16.二，算法休眠判定：当发现存在大量前景目标时(例如雨雪天气，相机抖动或被移动等)，算法休眠一段时间，以避免大量前景目标造成高空抛物误检，以及给硬件带来过大压力；
17.三，运动目标跟踪：基于sde(separate detection and embedding)的多目标跟踪算法。顾名思义其原理是先对多帧目标进行检测，然后根据目标相似度将不同帧之间的相同目标进行关联从而产生目标的运动轨迹；
18.四，下落判定：4.1基于最近一段短轨迹(下落距离d，时间t帧)判定目标是否正在下落，在下落判定时，本发明可以将图像坐标转换到世界坐标中进行计算，从而得到更准确的结果；4.2基于该较短轨迹的统计量对轨迹进行过滤，以排除误报；
19.五，误报过滤：5.1全轨迹告警过滤：在目标离开视野后，基于完整轨迹过滤误报；5.2误报目标过滤：基于轨迹上的目标截图过滤误报。
20.进一步的，所述运动目标检测采用三帧差法检测运动目标：从连续三帧的图像i(t-1),i(t),i(t 1)中获取两张差分图像d(0)＝|i(t)-i(t-1)|和 d(1)＝|i(t 1)-i(t)|,两幅差分图像d(0)和d(1)分别进行二值化后做并集运算即得到t时刻目标在图像中的轮廓。然后通过连通域分析即可找出并标记每个前景目标，并得到目标的包围框。该过程需设置帧差图像的二值化阈值以提取目标轮廓；并设置目标大小阈值以排除部分干扰目标，例
如于摄像头近处运动的落叶，飞鸟，垃圾等。
21.进一步的，所述算法休眠判定当目标数过多时或目标面积占比过高时将暂停分析，以避免摄像机晃动、雨雪天气等造成大量前景运动目标，从而带来的大量误报。
22.进一步的，所述运动目标跟踪在已知自由落体运动原理和摄像头观测位置数据的前提下，利用卡尔曼滤波预测当前帧f1的前一帧f0中的每个目标位于当前时刻t的运动位置；再通过目标匹配计算，实现相邻两帧目标间的关联。匹配的具体过程为：首先分别将相邻两帧位于t时刻的目标框集合 bboxesf0(由kalman filter计算得到)和bboxesf1中的所有目标框转化为扩展框；再将两个集合的扩展框两两之间计算iou(intersection over union,即用重合面积除以合并面积)即得到框之间的匹配度。使用扩展框而不使用原始目标框计算iou的原因是在高空抛物场景中，目标框较小，而相邻帧之间目标框的位移通常远大于目标框，因此前后帧之间目标框通常不会有重合。
23.除了扩展框的iou之外，本发明还设置了一些规则对匹配进行约束：
24.·
目标框之间的位移不能超过最大距离track_dist。
25.·
目标框之间的位移不能超过目标速度(基于最近轨迹计算)的 track_dist_to_speed倍。
26.·
目标框的面积变化(较大的目标框面积除以较小的目标框面积)不能超过track_size_change。
27.使用了上述约束条件后，在干扰目标较多时，能够避免产生很多错误轨迹。在进行上述约束后，为当前帧f1的每个目标在前一帧f0中找到匹配度最高的一个或前n(通常为2)个目标，前一帧f0的每个目标可以匹配当前帧f1中任意数目的目标。如果前一帧的一个目标在当前帧中没有匹配的目标，则本发明在当前帧保留它的预测目标框，如果持续p帧没有找到匹配的目标，则不再进行预测。
28.基于每个相邻帧之间的匹配，就可以为多帧的目标建立一个有向图，当前帧的每个目标都可以从这个有向图上追溯出它的完整轨迹。由于本发明将所有目标的运动轨迹表示为一个有向图，而非常见的单链结构，可以完美地表示轨迹的分叉和聚合。在高空抛物场景中，轨迹分叉发生在多个目标被一起抛出时，这些目标刚下落时聚合在一起，在下落过程中由于受到的阻力不同而具有不同的速度，从而分裂为多个独立运动的目标。轨迹聚合发生在目标与背景有部分颜色相近时，目标上与背景颜色相似的区域会被判定为不是前景，而导致目标轮廓破碎，分裂为多个前景区域。但随着下落过程，目标或背景颜色发生变化，从而又能够检测到完整的目标轮廓，此前多个破碎的前景目标的轨迹将聚合成一个。
29.在上述跟踪算法中，本发明只使用目标框位置作为跟踪移距，而不使用有些方案中采用的目标框特征向量(颜色直方图等)匹配，主要出于如下考虑：
30.·
在真实场景中，由于下落物体翻滚、光照变化等因素，颜色直方图有时候不能作为能稳定匹配的特征。
31.·
减少运算量，以利于在低算力(例如armv7架构的cpu上)设备上运行。
32.进一步的，在基于段轨迹的下落判定时，首先基于每个目标轨迹的最近一段短轨迹判定目标是否正在处于下落状态。判定下落状态的条件如下：
33.·
目标轨迹须至少持续t1帧，这样可以减少近距离快速掠过的目标产生的误报。
34.·
当前帧目标在前一帧匹配的目标在当前帧中匹配的目标数须《n。前一帧中目标
在当前帧中产生多个匹配的情况通常发生在落物周围有大量干扰目标时，这样在此时本发明避免判定是否下落，从而减少误报。
35.·
考察最近t＝min(t1,t2)帧时间，其中t2》t1。
36.·
最近t帧内，目标轨迹的最高点与当前位置距离》＝d。
37.·
最近t帧内，目标轨迹的最高点与当前位置连线与垂直方向的夹角《＝a。
38.·
最近t帧内，轨迹有匹配的前景目标(非跟踪预测目标)的帧数占比须》＝r。这样可以减少存在大量未检测到目标的轨迹产生的误检。
39.在上述下落判定逻辑中，通过设置时间阈值t1和t2和距离阈值d，即要求目标下落速度不能太快也不能太慢，下落太快的目标可能是近距离快速掠过的灰尘或飞虫，下落太慢的目标通常是轻物，通常不会引起危害。
40.在上述下落判定逻辑中，有距离阈值d和角度阈值a两个参数。通常下落距离采用图像距离，例如d＝画面高度的20％；下落角度采用与图像纵轴的夹角。但在实际应用中，本发明发现由于画面投影变换，摄像机安装具有一定倾斜角度等因素，垂直于地面的方向通常不是图像的纵轴，并且在图像中不同位置处地面垂线的方向也不同，变化范围甚至能达到将近90度。如果仍然基于图像坐标判定是否下落，角度阈值a设置为较小的值则会引起在画面两侧的漏报，设置为较大的值则会引起在画面中间区域的误报。为此，本发明引入场景标定算法，建立楼面的世界坐标系与图像坐标系之间的映射关系。在场景标定算法中，本发明在图像中建筑物表面画出一个有两条边与地面平行的矩形，并指定这个矩形的实际宽度和高度(单位为米)，通过opencv 的摄像机标定算法，可计算出图像坐标系与楼面的世界坐标系的映射关系，从而计算运动目标在世界坐标系中的位置、方向、速度等。这样本发明可以在世界坐标系中计算轨迹的下落距离和下落角度。在画面的各个位置，都将下落角度与该处地面垂线的真实方向进行比较，而不是与图像的纵轴进行比较，这样可以采用较小的角度阈值a，可以同时减少误检和漏检。
41.进一步的，基于短轨迹的误报过滤基于最近轨迹，除了上述下落条件外，本发明还引入基于运动平滑性的条件对误报进行过滤。从当前位置向前找到下落距离》＝d的最近一帧，对这段轨迹计算统计量：
42.·
面积稳定性：轨迹上目标框的面积标准差与面积均值的比例须小于阈值。
43.·
运动方向稳定性：轨迹上相邻帧的运动方向变化角度的平均值须小于阈值。
44.·
运动轨迹可预测性：轨迹上每一帧目标框位置与基于历史轨迹预测的位置之间的位移与目标速度大小的比值的平均值须小于阈值。
45.基于上述规则，可以过滤掉大量不符合平滑运动的轨迹，例如大面积树叶晃动引起的误报，等等。
46.优选的，全轨迹告警过滤在跟踪目标轨迹到达终点后，基于如下规则对目标轨迹进行再过滤：
47.·
目标判定为下落后，持续非下落方向的轨迹长度须不超过阈值d1；
48.·
目标判定为下落后，持续向上运动的轨迹长度须不超过阈值d2；
49.·
目标轨迹的平均速度须小于阈值v；
50.基于上述三条规则，可以过滤如飞鸟，飞虫，纸片等目标产生的下落转平飞、下落转上升的轨迹；以及过滤运动速度过快的轨迹，例如在摄像机近端快速掠过的物体，而非目
标楼面上的下落物体
51.优选的，非关切目标过滤为了进一步减少误报，本发明引入基于深度学习的图像分类算法，检测常见的误报目标，例如飞鸟、昆虫等。这些目标具有区别于一般目标的独特的外观特征，可以通过深度神经网络模型学习识别这些目标。本发明对属同一轨迹上的目标在多帧上截图并送入模型中进行分类，若有目标图像在多帧上被判定为飞鸟或昆虫等非关切类别，则认为该轨迹是由非关切目标引起的误报
52.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
53.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。