基于扫描-凝视网络的视频运动目标检测方法及系统

本发明涉及计算机视觉领域，特别涉及一种基于扫描-凝视网络的视频运动目标检测方法及系统。

背景技术：

1、卫星视频运动目标检测是智能遥感解译的重要任务，广泛应用于城市交通监测、海事搜救、灾害应急响应等场景。

2、现有卫星视频运动目标检测方法主要分为基于空间建模的目标检测方法以及基于时空建模的运动目标检测方法。但当前的这种方法存在计算冗余度高、对弱小目标的运动线索挖掘不充分以及难以兼顾检测精度和推理效率的问题。卫星视频中真实运动目标在空间上高度稀疏，但传统方法仍对全图所有像素或所有特征点执行密集计算，大量算力浪费在背景区域，难以满足实时检测和星上边缘部署需求。卫星视频运动目标在短时间范围内通常具有连续轨迹，而随机噪声和背景杂波不具备稳定运动一致性。若不能显式利用这种短时运动约束，模型容易将背景纹理误判为目标，或者漏掉低对比度真实目标。高精度时空模型通常参数量大、推理速度慢；轻量化模型虽然速度较快，但对复杂背景下弱小目标的识别能力不足。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种基于扫描-凝视网络的视频运动目标检测方法及系统，可以减少背景冗余计算，并增强弱小运动目标特征，进而提高检测精度。其具体方案如下：

2、第一方面，本技术公开了一种基于扫描-凝视网络的视频运动目标检测方法，应用于扫描-凝视网络，所述扫描-凝视网络为一种预设的目标检测网络，包括：

3、基于获取的若干连续卫星视频图像组成目标视频片段，并对所述目标视频片段进行时空建模，以对建模得到的若干目标概率响应图进行特征提取，得到与所述若干目标概率响应图对应的若干密集特征图；

4、计算所述若干目标概率响应图中各图对应的均值以及标准差，并根据所述均值及标准差计算所述若干目标概率响应图对应的动态阈值，然后根据所述动态阈值对所述若干目标概率响应图中的采样点进行筛选，以根据筛选后得到的候选采样点的坐标生成稀疏坐标集合；

5、基于所述稀疏坐标集合将所述若干密集特征图转换为若干稀疏特征图，并对所述若干稀疏特征图进行增强，以得到若干增强后稀疏特征图；

6、根据预设稀疏检测头基于所述若干增强后稀疏特征图对所述目标视频片段中的运动目标进行检测，以得到与所述运动目标对应的检测结果。

7、可选的，所述基于获取的若干连续卫星视频图像组成目标视频片段，并对所述目标视频片段进行时空建模，以对建模得到的若干目标概率响应图进行特征提取，得到与所述若干目标概率响应图对应的若干密集特征图，包括：

8、对获取的若干连续卫星视频图像进行归一化处理，以基于得到的若干归一化后图像生成目标视频片段；

9、将所述目标视频片段输入至预设扫描组件，以通过所述预设扫描组件对所述目标视频片段中的每一帧视频图像进行时空建模，以得到相应的若干目标概率响应图；所述预设扫描组件为一种预设的卷积神经网络；

10、通过所述预设扫描组件对所述若干目标概率响应图进行粗粒度特征提取，以得到与所述若干目标概率响应图对应的若干密集特征图。

11、可选的，所述计算所述若干目标概率响应图中各图对应的均值以及标准差，并根据所述均值及标准差计算所述若干目标概率响应图对应的动态阈值，然后根据所述动态阈值对所述若干目标概率响应图中的采样点进行筛选，以根据筛选后得到的候选采样点的坐标生成稀疏坐标集合，包括：

12、计算所述若干目标概率响应图中各图对应的均值以及标准差，并计算所述标准差与预设强度系数的乘积，以得到目标乘积；

13、将所述目标乘积与所述均值的和值作为所述若干目标概率响应图中各图对应的动态阈值；

14、根据所述动态阈值对所述若干目标概率响应图中的采样点进行筛选，以将所述若干目标概率响应图中采样点概率值小于所述动态阈值的采样点剔除，得到候选采样点；

15、基于所述候选采样点的坐标生成稀疏坐标集合。

16、可选的，所述基于所述稀疏坐标集合将所述若干密集特征图转换为若干稀疏特征图，并对所述若干稀疏特征图进行增强，以得到若干增强后稀疏特征图，包括：

17、基于所述稀疏坐标集合中的坐标对所述若干密集特征图进行采样，以将所述若干密集特征图转换为若干稀疏特征图；

18、对所述若干稀疏特征图进行卷积处理，以得到处理后稀疏特征图，并计算所述处理后稀疏特征图与处理后相邻稀疏特征图之间的余弦相似度；所述处理后相邻稀疏特征图为与所述处理后稀疏特征图前后相邻的特征图；

19、基于所述余弦相似度计算所述处理后稀疏特征图与所述处理后相邻稀疏特征图之间的相似性得分；

20、计算所述相似性得分之间的乘积，以得到目标乘积，并将所述目标乘积中数值最大的乘积作为最大响应，并将所述最大响应作为所述处理后稀疏特征图各坐标的运动一致性得分；

21、基于所述运动一致性得分对各目标稀疏特征图进行增强，以得到若干增强后稀疏特征图；所述目标稀疏特征图为所述若干稀疏特征图中的任一稀疏特征图。

22、可选的，所述对所述若干稀疏特征图进行卷积处理，以得到处理后稀疏特征图，并计算所述处理后稀疏特征图与处理后相邻稀疏特征图之间的余弦相似度，包括：

23、对所述若干稀疏特征图中的目标稀疏特征图以及与所述目标稀疏特征图对应的相邻稀疏特征图进行二维子流形稀疏卷积处理，以得到处理后稀疏特征图以及处理后相邻稀疏特征图；

24、计算所述处理后稀疏特征图对应的中心特征与所述处理后相邻稀疏特征图对应的中心特征之间的余弦相似度。

25、可选的，所述基于所述余弦相似度计算所述处理后稀疏特征图与所述处理后相邻稀疏特征图之间的相似性得分，包括：

26、根据所述余弦相似度以及所述处理后相邻稀疏特征图各坐标对应的位置特征计算所述处理后稀疏特征图与所述处理后相邻稀疏特征图之间的相似性得分。

27、可选的，所述基于所述运动一致性得分对各目标稀疏特征图进行增强，以得到若干增强后稀疏特征图，包括：

28、计算所述目标稀疏特征图中各采样点的l1范数，以得到若干范数值，并将所述若干范数值的平均值作为所述目标稀疏特征图的平均强度；

29、基于所述平均强度以及所述各采样点的l1范数计算所述目标稀疏特征图的增益因子，并基于所述增益因子以及所述运动一致性得分对各所述目标稀疏特征图进行增强，以得到若干增强后稀疏特征图。

30、可选的，所述根据预设稀疏检测头基于所述若干增强后稀疏特征图对所述目标视频片段中的运动目标进行检测，以得到与所述运动目标对应的检测结果，包括：

31、根据预设稀疏检测头基于所述若干增强后稀疏特征图对所述目标视频片段中的运动目标进行检测，以输出所述运动目标对应的预测目标中心点、目标宽高以及中心偏移量；

32、基于所述预测目标中心点、所述目标宽高以及所述中心偏移量生成所述运动目标的检测结果。

33、可选的，所述基于扫描-凝视网络的视频运动目标检测方法，还包括：

34、确定对所述目标视频片段进行运动目标检测产生的目标损失，并基于所述目标损失以及预设联合损失函数对所述扫描-凝视网络进行端到端训练，以将得到的更新后检测网络作为当前的所述扫描-凝视网络。

35、第二方面，本技术公开了一种基于扫描-凝视网络的视频运动目标检测系统，应用于扫描-凝视网络，所述扫描-凝视网络为一种预设的目标检测网络，包括：

36、管理服务器，终端；

37、所述终端，用于基于获取的若干连续卫星视频图像组成目标视频片段，并对所述目标视频片段进行时空建模，以对建模得到的若干目标概率响应图进行特征提取，得到与所述若干目标概率响应图对应的若干密集特征图；计算所述若干目标概率响应图中各图对应的均值以及标准差，并根据所述均值及标准差计算所述若干目标概率响应图对应的动态阈值，然后根据所述动态阈值对所述若干目标概率响应图中的采样点进行筛选，以根据筛选后得到的候选采样点的坐标生成稀疏坐标集合；基于所述稀疏坐标集合将所述若干密集特征图转换为若干稀疏特征图，并对所述若干稀疏特征图进行增强，以得到若干增强后稀疏特征图；根据预设稀疏检测头基于所述若干增强后稀疏特征图对所述目标视频片段中的运动目标进行检测，以得到与所述运动目标对应的检测结果。

38、第三方面，本技术公开了一种基于扫描-凝视网络的视频运动目标检测装置，应用于扫描-凝视网络，包括：

39、特征提取模块，用于基于获取的若干连续卫星视频图像组成目标视频片段，并对所述目标视频片段进行时空建模，以对建模得到的若干目标概率响应图进行特征提取，得到与所述若干目标概率响应图对应的若干密集特征图；

40、坐标筛选模块，用于计算所述若干目标概率响应图中各图对应的均值以及标准差，并根据所述均值及标准差计算所述若干目标概率响应图对应的动态阈值，然后根据所述动态阈值对所述若干目标概率响应图中的采样点进行筛选，以根据筛选后得到的候选采样点的坐标生成稀疏坐标集合；

41、特征增强模块，用于基于所述稀疏坐标集合将所述若干密集特征图转换为若干稀疏特征图，并对所述若干稀疏特征图进行增强，以得到若干增强后稀疏特征图；

42、目标检测模块，用于根据预设稀疏检测头基于所述若干增强后稀疏特征图对所述目标视频片段中的运动目标进行检测，以得到与所述运动目标对应的检测结果。

43、第四方面，本技术公开了一种电子设备，包括：

44、存储器，用于保存计算机程序；

45、处理器，用于执行所述计算机程序，以实现如前述的基于扫描-凝视网络的视频运动目标检测方法。

46、第五方面，本技术公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如前述的基于扫描-凝视网络的视频运动目标检测方法。

47、本技术中，可以基于获取的若干连续卫星视频图像组成目标视频片段，并对所述目标视频片段进行时空建模，以对建模得到的若干目标概率响应图进行特征提取，得到与所述若干目标概率响应图对应的若干密集特征图；计算所述若干目标概率响应图中各图对应的均值以及标准差，并根据所述均值及标准差计算所述若干目标概率响应图对应的动态阈值，然后根据所述动态阈值对所述若干目标概率响应图中的采样点进行筛选，以根据筛选后得到的候选采样点的坐标生成稀疏坐标集合；基于所述稀疏坐标集合将所述若干密集特征图转换为若干稀疏特征图，并对所述若干稀疏特征图进行增强，以得到若干增强后稀疏特征图；根据预设稀疏检测头基于所述若干增强后稀疏特征图对所述目标视频片段中的运动目标进行检测，以得到与所述运动目标对应的检测结果。

48、由此可见，通过本技术的方法，可以对若干连续卫星视频图像组成的目标视频片段进行时空建模，以对建模得到的若干目标概率响应图进行特征提取，得到与若干目标概率响应图对应的若干密集特征图；根据目标概率响应图中各图的均值及标准差计算相应的动态阈值，并根据动态阈值对概率响应图中的采样点进行筛选，以根据得到的候选采样点的坐标生成稀疏坐标集合；基于稀疏坐标集合将密集特征图转换为稀疏特征图，并对稀疏特征图进行增强；根据预设稀疏检测头基于增强后稀疏特征图对目标视频片段中的运动目标进行检测，以得到与运动目标对应的检测结果。这样一来，一方面，可以扫描阶段将密集特征转换为稀疏候选特征，使后续高代价特征提取仅发生在潜在目标区域，从源头降低计算开销；另一方面，可以利用连续帧之间的短时运动一致性，对满足运动约束但特征响应较弱的目标进行自适应增强；再一方面，可以判断候选点是否符合真实运动目标的短时轨迹规律，从而抑制不满足运动一致性的非目标区域。