一种基于遥感视频目标检测与跟踪的毁伤快速评估方法及系统

本发明属于毁伤快速评估，具体涉及一种基于遥感视频目标检测与跟踪的毁伤快速评估方法及系统。

背景技术：

1、国内外在视频目标检测与跟踪领域展开了大量研究，主要包含单目标检测与跟踪和多目标检测与跟踪研究。顾名思义，单目标检测与跟踪是指在一个视频序列中持续追踪一个已知目标，通常通过在每个视频帧中更新目标的位置来实现；多目标检测与跟踪则属于更为复杂和挑战性的任务，是指在一个视频序列中同时追踪多个目标，要求在时间维度上保持目标的标识一致性。传统的目标检测方法存在数据量大、速度慢的缺点，在目标跟踪的发展过程中逐渐被淘汰。近年来，深度学习技术的快速发展，使得目标检测与跟踪技术在不同应用领域大放异彩。在航空对地观测领域中，前人利用高空间分辨率的卫星视频数据，应对卫星视频中受遮挡和光照变化严重的小目标跟踪难的挑战，利用siamese网络作为骨干网络提出了一种鲁棒性强的轻量化目标跟踪器，提高了小目标检测的准确度和跟踪实时性。同时，针对卫星视频中车辆像素占比少等挑战，一种利用视频中每一帧的历史模型来更新卫星视频跟踪器的方式被提出，用于解决卫星视频车辆特征少，检测和跟踪困难的问题，所提出的方案可以有效地提高目标跟踪器的精度和成功率。类似地，针对目前大多数卫星视频目标跟踪器缺乏检测器和reid并行协作学习问题，提出将多目标跟踪问题建模为图形式的信息推理过程，实验表明该方法对于提升多目标跟踪精度很有效。此外，在火灾烟雾检测中的相关研究中，研究者们提出了一种基于 vibe与目标检测的 vsmokenet烟雾检测算法，完成了对视频烟雾的精确确定。类似地，针对目前一些算法的处理精度和实时性不足的问题，一些研究者利用yolov5算法与注意力模型结合的方式，实现了添加acon激活函数的火灾烟雾检测识别技术有效地提高了检测效果。

2、目标与毁伤监测信息提取和毁伤评估研究一直是国内外安全监测、军事应用领域等研究的重点和难点问题。视频数据为解决目标与毁伤一体化检测与动态跟踪，继而实现毁伤快速评估提供了新思路。然而，长期以来，目标与毁伤的研究都是分离展开研究的，很少有针对目标与毁伤一体化检测的应用研究，且多数研究都是基于影像数据进行信息提取的。一个完整的精确作战过程的有效维系有赖于对每次打击行动的效果评估。没有准确可靠的目标毁伤信息,就不能及时判断攻击效果,后续作战行动也就不可能顺利进行。信息化作战节奏快、强度高,战场态势复杂多变,加之对精确性的苛求,必须及时、快速、准确地进行战场评估, 确认目标毁伤状况和程度,以判断打击是否达到预定目的,并为制定下一步行动方案和打击计划提供依据,精确评估已成为“侦、控、打、评”作战行动链中不可缺少的重要环节。精确评估也是攻防双方都必须面对和解决的问题。

3、综上所述，亟待提出改进策略，解决目标与毁伤一体化检测中面临的精度不足、提取特征丢失和检测效率慢的问题。同时，针对目前目标与毁伤一体化检测研究中缺乏数据集的问题，亟需构建一套目标与毁伤一体化检测研究的数据集。最终，满足精准目标与毁伤跟踪的需求，为毁伤快速评估提供有力依据。

技术实现思路

1、为克服现有技术中目标与毁伤的研究都是分离展开研究的，且缺少准确可靠的目标毁伤信息,不能及时判断攻击效果的不足，本发明提供一种基于遥感视频目标检测与跟踪的毁伤快速评估方法及系统，通过构建检测与跟踪模型，以视频帧为处理单元，基于多尺度上下文块结构优化的多目标检测器，在检测过程中引入全局上下文依赖，全局信息表达更充分，依此得到更精准的目标或毁伤检测结果，以及外观增强的多目标跟踪器，强化特征的外观表示，将目标或毁伤与唯一标识关联，实现更准确的目标或毁伤的跟踪，从检测与跟踪结果中通过突变视频帧联系，实现快速的毁伤快速评估。

2、根据本发明说明书的一方面，提供一种基于遥感视频目标检测与跟踪的毁伤快速评估方法，包括：

3、获取含目标的待处理视频数据；

4、将待处理视频数据输入训练后的检测与跟踪模型，输出边界框的检测和跟踪结果；

5、基于边界框的检测与跟踪结果，获取待处理视频数据的目标毁伤评估结果；

6、检测与跟踪模型的训练过程包括：

7、构建目标与毁伤联合检测与跟踪的数据集；

8、构建检测与跟踪模型：通过基于多尺度上下文块结构优化的多目标检测器，处理视频帧，输出多尺度融合特征图以及至少一个边界框信息，其中，边界框信息包括边界框和标签类别，标签类别包括目标和毁伤；通过外观增强的多目标跟踪器，输入相邻视频帧的多目标检测器输出结果，输出边界框的检测与跟踪结果；

9、利用目标与毁伤联合检测与跟踪的数据集训练检测与跟踪模型，输出训练后的模型。

10、作为进一步的技术方案，多目标检测器包括多目标检测部分和多尺度上下文块结构；其中，多目标检测部分为基于yolov5模型的骨干网络-中间层编码-检测头一体结构，处理输入视频帧，输出高、中、低三种尺度的特征图；所述多尺度上下文块结构，通过三个图卷积结构分支分别处理多目标检测部分输出的不同尺度的特征图，得到不同尺度的多粒度融合特征图，将不同尺度的多粒度融合特征图进行融合，得到多尺度融合特征图，通过任务头处理，得到输入视频帧中的至少一个边界框信息。

11、作为进一步的技术方案，图卷积结构分支使用图卷积单元，根据设定的若干分割区域数对输入分支的特征图分割处理，得到不同粒度水平的增强特征图，最终将不同粒度水平的增强特征图融合，得到当前分支输出的多粒度融合特征图。

12、作为进一步的技术方案，多目标跟踪器包括特征提取部分和跟踪部分，特征提取部分以相邻视频帧的多目标检测器处理结果作为输入，强化外观特征，为边界框赋予唯一标识，作为边界框的检测结果；跟踪部分基于唯一标识持续跟踪边界框。

13、作为进一步的技术方案，特征提取部分，以相邻视频帧的多目标检测器输出结果作为输入，将输入拼接后输入低级特征提取器，通过若干次下采样处理，得到不同尺度的低级特征；通过交叉尺度块嵌入模块融合不同尺度的低级特征，得到跨尺度外观特征；外观特征提取器，以若干外观变换器模块依次处理跨尺度外观特征，输出外观增强的特征图；最后通过全局平均池化和线性分类器处理外观增强的特征图，为边界框赋予唯一标识。

14、作为进一步的技术方案，跟踪部分，采用匈牙利匹配算法将边界框与唯一标识关联；基于卡尔曼滤波器进行运动估计，根据相邻视频帧中前一视频帧的边界框信息，预测后一视频帧的边界框信息；基于边界框的关联和运动估计的结果，结合边界框的检测结果持续跟踪边界框。

15、作为进一步的技术方案，基于边界框的检测与跟踪结果，获取目标毁伤评估结果的步骤包括：从待处理视频数据的边界框的检测和跟踪结果中，提取边界框的突变视频帧，当突变视频帧中对应目标的边界框跟踪丢失，且新增毁伤对应边界框的检测结果，则该突变视频帧判别为该目标的起爆点，并得到该目标被击中的毁伤评估结果，否则，得到该目标未被击中的毁伤评估结果。

16、根据本说明书的另一方面，提供一种基于遥感视频目标检测与跟踪的毁伤快速评估系统，包括：

17、视频获取模块，用于获取含目标的待处理视频数据；

18、目标与毁伤检测和跟踪模块，用于将待处理视频数据输入训练后的检测与跟踪模型，输出边界框的检测和跟踪结果；

19、毁伤评估模块，用于基于边界框的检测与跟踪结果，获取待处理视频数据的目标毁伤评估结果；

20、其中，所述检测与跟踪模型的训练过程包括：

21、构建目标与毁伤联合检测与跟踪的数据集；

22、构建检测与跟踪模型：通过基于多尺度上下文块结构优化的多目标检测器，处理视频帧，输出多尺度融合特征图以及至少一个边界框信息，其中，边界框信息包括边界框和标签类别，标签类别包括目标和毁伤；通过外观增强的多目标跟踪器，输入相邻视频帧的多目标检测器输出结果，输出边界框的检测与跟踪结果；

23、利用目标与毁伤联合检测与跟踪的数据集训练检测与跟踪模型，输出训练后的模型。

24、根据本说明书的另一方面，提供一种电子设备，包括存储器和处理器，所述存储器存储有被所述处理器执行的程序指令，所述处理器调用所述程序指令，以执行一种基于遥感视频目标检测与跟踪的毁伤快速评估方法。

25、根据本说明书的另一方面，提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行一种基于遥感视频目标检测与跟踪的毁伤快速评估方法。

26、与现有技术相比，本发明的有益效果在于：本发明提供了一种检测与跟踪模型，以视频帧为处理单元，基于多尺度上下文块结构优化的多目标检测器，在检测过程中引入全局上下文依赖，全局信息表达更充分，依此得到更精准的目标或毁伤检测结果，以及外观增强的多目标跟踪器，强化特征的外观表示，将目标或毁伤与唯一标识关联，实现更准确的目标或毁伤的跟踪，依此实现了运动目标与毁伤的动态检测与跟踪，可以弥补突发性打击检测等军事行动；

27、本发明从检测与跟踪结果中通过突变视频帧联系，实现快速的毁伤快速评估，可以用于毁伤打击的起爆点预测，能够为是否击中目标做出实时判断，对于军事决策具有重要作用。该发明有效缓解了视频数据下目标与毁伤的检测不准确问题，实现了目标与毁伤前后的一致性检测与跟踪，从而能够快速评估目标是否被击中。

28、本发明的方法对于突发性毁伤前后的目标与跟踪具有一定的参考价值，可用于智能交通损毁发现和军事目标损毁发现，弥补了现有研究内容对于目标毁伤前后以及起爆点研究的空白与不足。