高空抛物检测方法及装置与流程

1.本发明涉及图像处理技术领域，具体涉及一种高空抛物检测方法。


背景技术：

2.随着城市化进程的逐步深入，越来越多的高层建筑出现在城市中，随之而来的高空抛物行为也越来越受到社会的关注。由于事件发生场所多为高空楼层，少有目击者，抛物时间短，使得执法部门很难追究抛物者的法律责任。因此，采用监控视频进行高空抛物的自动检测也就成为一种最可行的手段。
3.基于监控视频的高空抛物检测实质属于一种多目标跟踪任务，因此可以考虑采用现有的多目标跟踪算法实现。然而，相比其它任务场景，高空抛物检测又具有目标极小，速度下落快，普通监控摄像机所拍摄的轨迹点较少等特点。这些特点限制了现有多目标跟踪算法在高空抛物检测中的实际效果。
4.现有技术通常是使用检测方法、前景建模或者帧差等前景检测方法检测抛物在图像的位置，后用追踪器进行目标追踪，判定轨迹是否符合抛物特征，例如使用最多的前景检测与卡尔曼滤波相结合的目标跟踪算法。这类方法对于检测器的性能要求较为严苛，同时对于一些飞虫、飞鸟不具有语义信息，也就是说追踪的只是一些检测框，并不知道检出的是鸟还是虫，或是因为雨雪天气导致的误检，所以基于检测追踪方式的高空抛物方案对于异常判断极其难以控制。
5.为克服上述方案的不足，有部分研究者采用基于帧间差分的运动目标检测方案来进行高空抛物检测，即通过对监控视频的帧差图像进行图像处理分析来获得高空抛物检测结果，例如中国发明专利申请cn111768431a、cn113139478a所公开的技术方案。此类方案虽然可在一定程度上提高检测的实时性，但对于树枝晃动、灯光闪烁等问题无法消除，仍存在相当的误检率。


技术实现要素：

6.本发明所要解决的技术问题在于克服现有技术不足，提供一种简捷且直观清晰的高空抛物检测方法，且检测精度更高，检测实时性更好。
7.本发明具体采用以下技术方案解决上述技术问题：一种高空抛物检测方法，包括以下步骤：获取监控视频当前帧与前一帧各图像通道的差值图像，并将各图像通道的差值图像合并为当前帧的第一帧差图；按照第一周期对当前帧的第一帧差图及前若干帧的第一帧差图进行积分，得到当前帧的第一积分图像；以当前帧的第一积分图像与前一帧的第一积分图像的差值图像作为当前帧的第二帧差图，按照第二周期对当前帧的第二帧差图及前若干帧的第二帧差图进行加权叠加，得到当前帧的第二积分图像；
根据当前帧的第二积分图像判断是否发生高空抛物。
8.优选地，所述根据当前帧的第二积分图像判断是否发生高空抛物，具体为：将当前帧的第二积分图像输入预先训练好的分类器，分类器的输出即为是否发生高空抛物的判定结果。
9.进一步优选地，所述分类器为具有注意力机制的repvgg网络。
10.优选地，所述合并的方法包括：以各图像通道差值图像中的最大像素值作为第一帧差图的像素值；或者，以各图像通道差值图像中的像素值均值作为第一帧差图的像素值。
11.更进一步地，所述合并的方法还包括：将第一帧差图中小于预设阈值的像素值设置为0。
12.优选地，在所述加权叠加中，t时刻的当前帧的第二帧差图的权值按照下式确定：式中，t2为第二周期，e为自然常数，γ为大于0的控制参数。
13.进一步地，该方法还包括：对于判断为发生了高空抛物的第二积分图像，通过图像处理方法提取抛物轨迹和/或抛物位置。
14.基于同一发明构思还可以得到以下技术方案：一种高空抛物检测装置，包括：第一帧差图获取模块，用于获取监控视频当前帧与前一帧各图像通道的差值图像，并将各图像通道的差值图像合并为当前帧的第一帧差图；第一积分模块，用于按照第一周期对当前帧的第一帧差图及前若干帧的第一帧差图进行积分，得到当前帧的第一积分图像；第二积分模块，用于以当前帧的第一积分图像与前一帧的第一积分图像的差值图像作为当前帧的第二帧差图，按照第二周期对当前帧的第二帧差图及前若干帧的第二帧差图进行加权叠加，得到当前帧的第二积分图像；抛物判断模块，用于根据当前帧的第二积分图像判断是否发生高空抛物。
15.优选地，所述抛物判断模块为预先训练好的分类器，分类器的输入为当前帧的第二积分图像，分类器的输出为是否发生高空抛物的判定结果。
16.进一步优选地，所述分类器为具有注意力机制的repvgg网络。
17.优选地，所述合并的方法包括：以各图像通道差值图像中的最大像素值作为第一帧差图的像素值；或者，以各图像通道差值图像中的像素值均值作为第一帧差图的像素值。
18.更进一步地，所述合并的方法还包括：将第一帧差图中小于预设阈值的像素值设置为0。
19.优选地，在所述加权叠加中，t时刻的当前帧的第二帧差图的权值按照下式确定：
式中，t2为第二周期，e为自然常数，γ为大于0的控制参数。
20.进一步地，该装置还包括：信息提取模块，用于对于判断为发生了高空抛物的第二积分图像，通过图像处理方法提取抛物轨迹和/或抛物位置。
21.相比现有技术，本发明技术方案具有以下有益效果：本发明使用端到端的处理方式，高空抛物检测方法清晰简单，检测结果更直观；本发明基于帧差图像处理得到的第二积分图像，可以直接看到抛物的完整路径，不再需要反复查阅抛物视频，便于后续通过机器分类方式判断抛物发生或通过简单的图像处理方式获取抛物轨迹、抛物位置等信息；并且本发明方案可有效消除树枝晃动、灯光闪烁等问题所导致的误检情况，相比现有基于帧差图像的抛物检测方案具有更好的检测准确度。
附图说明
22.图1为实施例中所得到的第一积分图像s
t
；图2为实施例中所得到的第二积分图像m
t
；图3为检测过程的对比示意图，其中从左到右依次为第二积分图像、cam注意力图、当前帧图像。
具体实施方式
23.针对现有技术不足，本发明的解决思路是通过对监控视频的图像帧进行两次差分和两次积分处理得到第二积分图像，并基于其进行高空抛物检测；通过第二积分图像可以直接看到抛物的完整路径，不再需要反复查阅抛物视频，便于后续通过机器分类方式判断抛物发生或通过简单的图像处理方式获取抛物轨迹、抛物位置等信息；并且本发明方案可有效消除树枝晃动、灯光闪烁等问题所导致的误检情况，相比现有基于帧差图像的抛物检测方案具有更好的检测准确度。
24.本发明所提出的高空抛物检测方法，具体包括以下步骤：获取监控视频当前帧与前一帧各图像通道的差值图像，并将各图像通道的差值图像合并为当前帧的第一帧差图；按照第一周期对当前帧的第一帧差图及前若干帧的第一帧差图进行积分，得到当前帧的第一积分图像；以当前帧的第一积分图像与前一帧的第一积分图像的差值图像作为当前帧的第二帧差图，按照第二周期对当前帧的第二帧差图及前若干帧的第二帧差图进行加权叠加，得到当前帧的第二积分图像；根据当前帧的第二积分图像判断是否发生高空抛物。
25.本发明所提出的高空抛物检测装置，包括：第一帧差图获取模块，用于获取监控视频当前帧与前一帧各图像通道的差值图
像，并将各图像通道的差值图像合并为当前帧的第一帧差图；第一积分模块，用于按照第一周期对当前帧的第一帧差图及前若干帧的第一帧差图进行积分，得到当前帧的第一积分图像；第二积分模块，用于以当前帧的第一积分图像与前一帧的第一积分图像的差值图像作为当前帧的第二帧差图，按照第二周期对当前帧的第二帧差图及前若干帧的第二帧差图进行加权叠加，得到当前帧的第二积分图像；抛物判断模块，用于根据当前帧的第二积分图像判断是否发生高空抛物。
26.优选地，所述根据当前帧的第二积分图像判断是否发生高空抛物，具体为：将当前帧的第二积分图像输入预先训练好的分类器，分类器的输出即为是否发生高空抛物的判定结果。
27.进一步优选地，所述分类器为具有注意力机制的repvgg网络。
28.优选地，所述合并的方法包括：以各图像通道差值图像中的最大像素值作为第一帧差图的像素值；或者，以各图像通道差值图像中的像素值均值作为第一帧差图的像素值。
29.更进一步地，所述合并的方法还包括：将第一帧差图中小于预设阈值的像素值设置为0。
30.优选地，在所述加权叠加中，t时刻的当前帧的第二帧差图的权值按照下式确定：式中，t2为第二周期，e为自然常数，γ为大于0的控制参数。
31.进一步地，该方法还包括：对于判断为发生了高空抛物的第二积分图像，通过图像处理方法提取抛物轨迹和/或抛物位置。
32.为了便于公众理解，下面通过一个具体实施例并结合附图来对本发明的技术方案进行详细说明：本实施例中的高空抛物检测流程具体如下：1. 相机获取到视频流，视频流可以表示为一系列图片的组合(i
o ... i
t
)，其中i
t
表示第t时刻当前帧的图片。通常相机在光线良好的情况下输出rgb视频流，在夜间光线较差时输出ir视频流，其中图像可表示为维度是（w, h, c）的矩形数据块，表示第t时刻当前帧的第c个图像通道，全彩图像的通道数通常是3。
33.2. 分离所有图像通道，对进行如下操作得到t时刻与t-1时刻图像帧的差值图像，即为t时刻当前帧的第一帧差图diff
t
，其中abs函数为返回绝对值函数，max函数为取最大值函数。分别计算每个图像通道的差值
图像后再进行合并，所述合并的方式既可以各图像通道差值图像中的最大像素值作为第一帧差图的像素值；或者，以各图像通道差值图像中的像素值均值作为第一帧差图的像素值；本实施例中取各图像通道上的最大值作为最终响应。为了进一步消除噪声干扰，还可以预先设定阈值，并将第一帧差图中小于该阈值的像素值设置为0。
34.3. 由于高空抛物的特殊性，在画面中通常是从上到下快速坠落，对图像变化量进行固定周期积分可得到完整抛物下落轨迹图像。具体为，设定图像积分时长t1, 按照t1对当前帧的第一帧差图及前若干帧的第一帧差图进行积分，得到t时刻当前帧的第一积分图像；所获得的第一积分图像s
t
的一个实例如图1所示，可以发现其已可以准确直观地反映出运动目标轨迹，但无法消除树枝晃动、灯光闪烁等问题，图1中即保留有在风中晃动的树枝。其中，周期t1的具体取值范围应根据相机部署的位置、相机焦距、楼层等因素灵活确定，t1取值应略高于抛物从进入画面到离开画面的时间，较常用的的设置范围为0.5s-10s。
35.4.对第一积分图像序列再进行差分获得第一积分图像的差分图像，即以当前帧的第一积分图像与前一帧的第一积分图像的差值图像作为当前帧的第二帧差图d
t
；再按照周期t2对当前帧的第二帧差图及前若干帧的第二帧差图进行加权叠加，得到当前帧的第二积分图像m
t
：：：通过计算第二积分图像m
t
可以有效的消除例如树枝晃动、灯光闪烁等问题，从而可对高空抛物特征更加精准的抓取，其中，权值表示时间衰减系数，用于关注近期发生的事件，控制参数大于0，用于调节对于历史的遗忘程度。如图2所示，图1中的摇晃的树枝已经在图2中被完全去除。周期t2与周期t1可以相同，也可以不同，根据实际需要设置即可。
36.5. 将第二积分图像m
t
送入预先训练好的分类器进行分类，对是否为高空抛物进行判断；所述分类器可以为现有的前馈神经网络或cnn、vgg、resnet等深度学习网络，本实施例中的分类器采用具有注意力机制的repvgg网络。分类网络样本数据通过使用模拟、采集的方式构造数据集，模拟抛物轨迹的下落方式，训练分类模型根据数据进行拟合，对于恶略天气、异常情况(飞鸟、飞虫等）情况可以做出有效判定。通过测试集绘制roc曲线，根据场景需要选取合适的召回率和误检率，得到分类模型阈值。
37.6. 如图3（从左到右依次为第二积分图像、cam注意力图、当前帧图像）所示，对repvgg绘制感兴区域，使用cam（class activation mapping）绘制repvgg注意力区域，注意力图可用于标记高空抛物发生的可疑区域。
38.7.重复步骤1-6，得到当前帧的第二积分图像，对每帧判定出是否有高空抛物；设置灵敏度窗口时间为tw, 在t时刻窗口内的检测结果可以表示为。灵敏度标记为sens,表示t时刻repvgg分类模型输出结果是抛物的占比。当窗口时间内分类结
果占比大于设定阈值时，判定为发生高空抛物，否则判定为正常。
39.8.对于判断为发生了高空抛物的第二积分图像，通过图像处理方法提取抛物轨迹和/或抛物位置。由于所得到的第二积分图像已消除了树枝晃动、灯光闪烁等问题，抛物轨迹清楚完整地得到了体现，因此可以采用简单的图像处理方法从中提取出完整的抛物轨迹并根据抛物轨迹与原视频帧的坐标比对得到准确的抛物位置信息（具体抛出物品的楼层、窗户等），例如，可采用以下方法：对于通过上述方法获取的第二积分图像，设定阈值tb对其进行二值化，当第二积分图像中每个像素大于tb则设为255，否则设置为0得到二值图像mb；对二值图像mb使用查找轮廓的方式，例如可以使用opencv中的findcontours函数进行轮廓查找，获取所有轮廓的中心点，通过轮廓面积剔除异常轮廓，获得抛物轨迹轮廓中心点集,对点集中的点按照y轴进行从高到低排序获得点集c；由于点集c已经按照从上到下排序，因此其起点即为高空抛物的起始点，可通过多种方法确定楼层楼栋号，例如事先对楼层楼号进行标记，通过查询距离起始点最近的标记即可确认抛物位置；或是通过透视变换等方法，将楼层与图像坐标关系进行拟合，输入起始点坐标得到楼层号。