融合物理先验与时序卷积的爆炸碎片检测方法及系统

本技术涉及图像处理，具体涉及一种融合物理先验与时序卷积的爆炸碎片检测方法及系统。

背景技术：

1、在相关技术中，爆炸过程中产生的强闪光、烟雾、冲击波及背景杂波会显著降低图像信噪比，碎片又常表现为少量像素构成的暗色小目标，容易发生漏检和误检。同时，碎片受空气阻力、重力及姿态变化影响，运动呈非线性，传统跟踪方法易产生预测误差累积、轨迹断裂和身份切换，且难以剔除非炸心源动态干扰。

技术实现思路

1、本技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本技术的实施例提出一种融合物理先验与时序卷积的爆炸碎片检测方法及系统，可以提高碎片检测、轨迹跟踪的准确性和可靠性。

2、根据本技术的第一方面，本技术提供的融合物理先验与时序卷积的爆炸碎片检测方法包括如下步骤：

3、s1，获取爆炸场的图像序列和炸心坐标；

4、s2，根据所述图像序列中图像帧的形态特征和运动特征，筛选得到候选碎片目标；

5、s3，根据所述炸心坐标与所述候选碎片目标之间的径向关系，对连续图像帧中的候选碎片目标进行关联，以建立候选碎片轨迹；

6、s4，根据所述候选碎片轨迹的历史位置和运动状态构建历史状态序列，将所述历史状态序列输入时序卷积网络，以预测碎片在后续图像帧中的位置，并根据预测位置关联后续图像帧中的候选碎片目标，以更新所述候选碎片轨迹；

7、s5，根据所述候选碎片轨迹与所述炸心坐标之间的几何一致性，从所述候选碎片轨迹中筛选得到有效碎片轨迹。

8、在一些实施例中，所述形态特征包括所述图像帧中暗色连通区域的稳定性，所述运动特征包括所述图像帧中的像素相对于背景的变化；所述根据所述图像序列中图像帧的形态特征和运动特征筛选得到候选碎片目标，包括：

9、根据所述暗色连通区域的稳定性，从所述图像帧中提取形态候选区域；

10、根据所述像素相对于背景的变化，从所述图像帧中提取运动像素区域，生成运动前景掩膜；

11、根据所述形态候选区域与所述运动前景掩膜之间的空间重叠关系，对所述形态候选区域进行筛选，得到待过滤目标；

12、根据所述待过滤目标的属性信息对所述待过滤目标进行过滤，得到所述候选碎片目标。

13、在一些实施例中，采用最大稳定极值区域算法提取所述图像帧中的稳定暗色连通区域，以形成所述形态候选区域，并采用视觉背景提取算法提取所述图像帧中的运动像素区域，以生成所述运动前景掩膜；

14、将所述形态候选区域内属于所述运动前景掩膜的像素数量占所述形态候选区域的像素总数量的比例确定为空间重叠度，并将所述空间重叠度大于预设重叠度阈值的形态候选区域确定为所述待过滤目标；

15、所述属性信息包括像素面积和灰度，将像素面积位于预设像素面积范围内且满足预设灰度条件的待过滤目标确定为所述候选碎片目标。

16、在一些实施例中，所述根据所述炸心坐标与所述候选碎片目标之间的径向关系，对连续图像帧中的候选碎片目标进行关联，以建立候选碎片轨迹，包括：

17、将当前图像帧中的候选碎片目标确定为待关联目标；

18、根据所述炸心坐标与所述待关联目标在图像坐标系中的相对位置，确定由所述炸心坐标指向所述待关联目标的径向方向；

19、以所述径向方向为匹配基准，从下一图像帧的候选碎片目标中筛选相对于所述待关联目标的位移方向满足预设方向约束的候选关联目标；

20、从所述候选关联目标中确定与所述待关联目标对应的匹配目标，并建立所述待关联目标与所述匹配目标之间的关联关系；

21、根据相邻图像帧中的所述关联关系，将连续图像帧中的候选碎片目标关联形成候选碎片轨迹。

22、在一些实施例中，所述以所述径向方向为匹配基准，从下一图像帧的候选碎片目标中筛选相对于所述待关联目标的位移方向满足预设方向约束的候选关联目标，包括：

23、以所述待关联目标的位置为基准，以所述径向方向为轴线，构建扇形物理约束区域，所述扇形物理约束区域的搜索半径根据碎片的最大可能位移确定，所述扇形物理约束区域的角度范围根据预设初始容忍角确定；将下一图像帧中位于所述扇形物理约束区域内的候选碎片目标确定为所述候选关联目标，其中，所述候选关联目标与所述待关联目标之间的距离不超过所述最大可能位移，且由所述待关联目标指向所述候选关联目标的位移方向与所述径向方向之间的夹角不超过所述预设初始容忍角；

24、在一些实施例中，所述根据相邻图像帧中的所述关联关系，将连续图像帧中的候选碎片目标关联形成候选碎片轨迹，包括：

25、按照所述图像序列的时间顺序对连续三个图像帧中的候选碎片目标依次进行关联；

26、当相邻图像帧中的候选碎片目标之间均建立所述关联关系且连续三个图像帧中的候选碎片目标通过预设平滑性检验时，将连续三个图像帧中的所述候选碎片目标关联形成候选碎片轨迹，并激活所述候选碎片轨迹。

27、在一些实施例中，所述根据所述碎片初始轨迹的历史位置和运动状态构建历史状态序列，将所述历史状态序列输入时序卷积网络，以预测碎片在后续图像帧中的位置，并根据预测位置关联后续图像帧中的候选碎片目标，以更新所述碎片轨迹，包括：

28、从所述候选碎片轨迹中提取连续l个历史图像帧中的候选碎片目标的质心坐标，其中，l为预设历史帧数；

29、根据相邻历史图像帧中的质心坐标之差确定一阶差分速度；

30、将各所述历史图像帧对应的归一化质心坐标和所述一阶差分速度按照时间顺序存入滑动窗口，构建所述历史状态序列；

31、将所述历史状态序列输入所述时序卷积网络，得到碎片在下一图像帧中的预测质心坐标及误差协方差；

32、根据下一图像帧中的各候选碎片目标与所述预测质心坐标之间的位置偏差及所述误差协方差，确定各候选碎片目标相对于所述预测质心坐标的马氏距离，并将马氏距离小于基于卡方分布确定的预设阈值且马氏距离最小的候选碎片目标确定为与所述候选碎片轨迹对应的匹配目标；

33、根据所述匹配目标更新所述碎片轨迹。

34、在一些实施例中，所述时序卷积网络包括因果卷积结构、膨胀卷积结构和残差连接结构，并采用三层残差块结构，卷积核大小为3；

35、所述根据所述匹配目标更新所述碎片轨迹，包括：

36、当确定所述匹配目标时，将所述匹配目标对应的真实观测状态加入所述滑动窗口，以更新所述历史状态序列，并将所述匹配目标加入所述候选碎片轨迹；

37、当下一图像帧中不存在马氏距离小于所述预设阈值的候选碎片目标时，将所述时序卷积网络在上一时刻输出的预测状态作为当前时刻的虚拟状态加入所述滑动窗口，继续预测碎片在后续图像帧中的位置；

38、当对应的候选碎片目标在五个图像帧内重新出现并与所述候选碎片轨迹匹配成功时，恢复所述候选碎片轨迹，当经过所述五个图像帧仍未匹配到对应的候选碎片目标时，终止所述候选碎片轨迹。

39、在一些实施例中，所述根据所述候选碎片轨迹与所述炸心坐标之间的几何一致性，从所述候选碎片轨迹中筛选得到有效碎片轨迹，并从所述有效碎片轨迹得到对应的图像坐标序列，包括：

40、从所述候选碎片轨迹的初始阶段，按照图像帧的时间顺序提取前m个观测点，其中，m为不小于2的正整数；

41、采用最小二乘法对前m个所述观测点进行二维直线拟合，得到表征所述候选碎片轨迹初始运动方向的轨迹直线；

42、将所述炸心坐标至所述轨迹直线的正交偏差确定为几何偏差；

43、当所述几何偏差不超过预设几何容忍阈值时，将所述候选碎片轨迹确定为所述有效碎片轨迹，当所述几何偏差超过所述预设几何容忍阈值时，将所述候选碎片轨迹确定为背景干扰轨迹并予以剔除；

44、提取所述有效碎片轨迹中的真实观测点，并将各所述真实观测点的图像坐标按照对应图像帧的时间顺序排列，得到所述图像坐标序列。

45、在本技术的第二方面，本技术提供的融合物理先验与时序卷积的爆炸碎片检测系统包括：

46、数据获取模块，用于获取爆炸场的图像序列和炸心坐标；

47、目标检测模块，用于根据所述图像序列中图像帧的形态特征和运动特征，筛选得到候选碎片目标；

48、轨迹起始模块，用于根据所述炸心坐标与所述候选碎片目标之间的径向关系，对连续图像帧中的候选碎片目标进行关联，以建立碎片初始轨迹；

49、轨迹跟踪模块，用于根据所述碎片初始轨迹的历史位置和运动状态构建历史状态序列，将所述历史状态序列输入时序卷积网络，以预测碎片在后续图像帧中的位置，并根据预测位置关联后续图像帧中的候选碎片目标，以更新所述候选碎片轨迹；

50、轨迹验证模块，用于根据所述候选碎片轨迹与所述炸心坐标之间的几何一致性，从所述候选碎片轨迹中筛选得到有效碎片轨迹。

51、综上可知，本技术实施例提供的融合物理先验与时序卷积的爆炸碎片检测方法及系统至少具有如下优点：从图像及相关参数获取、候选碎片目标筛选、候选碎片轨迹建立和更新、有效碎片轨迹筛选到运动轨迹的完整处理流程。其中，根据图像帧的形态特征和运动特征筛选候选碎片目标，并结合像素面积和灰度属性进行过滤，有利于减少强光、烟雾和静态暗斑造成的误检；根据炸心坐标与候选碎片目标之间的径向关系，对连续图像帧中的候选碎片目标进行关联，有利于缩小候选关联范围并减少错误关联；根据候选碎片轨迹的历史位置和运动状态构建历史状态序列，并利用时序卷积网络预测碎片在后续图像帧中的位置，有利于维持碎片非线性运动及短时遮挡情况下的轨迹连续性；根据候选碎片轨迹与炸心坐标之间的几何一致性筛选有效碎片轨迹，有利于剔除不符合炸心源飞散特征的背景干扰轨迹，可以提高碎片检测、轨迹跟踪的准确性和可靠性。