一种面向视觉伪装目标的图像变化检测方法

摘要: 本发明涉及图像处理,尤其涉及一种面向视觉伪装目标的图像变化检测方法。背景技术:1、在计算机视觉领域,伪装目标检测(camouflagedobjectdetect...
一种面向视觉伪装目标的图像变化检测方法

本发明涉及图像处理,尤其涉及一种面向视觉伪装目标的图像变化检测方法。

背景技术:

1、在计算机视觉领域,伪装目标检测(camouflaged object detection,cod)一直是一个极具挑战性的研究方向。传统目标检测主要针对具有显著特征的视觉目标,而伪装目标有着与背景高度相似的颜色、纹理和形状等特征,巧妙地融入环境,难以被传统检测算法发现。现有技术主要集中于静态伪装目标检测,利用深度神经网络从单帧图像中提取目标特征,实现伪装目标的位置定位和轮廓分割。

2、然而,在实际应用场景中,不仅需要从单帧图像中检测伪装目标的位置,还需要对连续时序图像进行分析,来检测伪装目标在时间维度上的变化情况(如目标的出现、消失、变大、缩小),以获取准确的变化信息。因此,如何提高伪装目标的检测精度,就成为当下亟需要解决的问题。

技术实现思路

1、本发明提供一种面向视觉伪装目标的图像变化检测方法,用以解决现有技术中伪装目标的检测精度不高的缺陷。

2、一种面向视觉伪装目标的图像变化检测方法,包括;

3、获取双时相图,所述双时相图为同一场景下在不同时间获取的两张图像;

4、将所述双时相图输入伪装图像变化检测模型,基于该模型,输出伪装目标的变化状态;所述变化状态包括:伪装目标变出现、消失、变大、缩小;

5、所述伪装图像变化检测模型包括:多尺度语义对齐模块、隐式多尺度变化重建模块、图像级伪装类型分类模块;

6、所述多尺度语义对齐模块,用于将所述双时相图在不同尺度上进行通道对齐和空间对齐,得到对齐后的不同尺度的双时相差分特征;

7、所述隐式多尺度变化重建模块,用于基于隐式神经表示构建从坐标和特征到变化值的连续映射,以实现对所述不同尺度的双时相差分特征进行隐式重建,以生成多尺度变化重建特征;

8、所述图像级伪装类型分类模块,用于对所述多尺度变化重建特征进行预测,最终输出带有变化类型标签的像素级语义变化图;所述变化类型标签包括:伪装目标出现、消失、变大、缩小。

9、进一步地,如上所述的面向视觉伪装目标的图像变化检测方法,所述多尺度语义对齐模块包括若干个尺度不同的语义对齐模块;每个语义对齐模块包括:时序特征对齐模块、差分光流对齐模块;

10、所述时序特征对齐模块,用于将所述双时相图的其中一时相图的特征在通道级别上与另一个时相图的特征对齐,从而生成通道级对齐的双时相特征;

11、所述差分光流对齐模块,用于通过学习所述双时相特征之间的差分光流场,对其中一时相特征进行空间扭曲,实现像素级空间对齐,并计算空间对齐后的双时相差分特征。

12、进一步地,如上所述的面向视觉伪装目标的图像变化检测方法,所述多尺度语义对齐模块包括4个尺度不同的语义对齐模块;分别为第一语义对齐模块、第二语义对齐模块、第三语义对齐模块、第四语义对齐模块;

13、第一语义对齐模块的尺度为:,第二语义对齐模块的尺度为:,第三语义对齐模块的尺度为:,第四语义对齐模块的尺度为:。

14、进一步地,如上所述的面向视觉伪装目标的图像变化检测方法,所述时序特征对齐模块,用于将所述双时相图的其中一时相图的特征在通道级别上与另一个时相图的特征对齐,从而生成通道级对齐的双时相特征包括:

15、分别提取所述双时相图的特征,对应得到第一时相特征与第二时相特征;

16、将所述第一时相特征和第二时相特征分别被线性映射到不同的子空间后,对应得到第一增强特征和第二增强特征;

17、将所述第一增强特征与第二增强特征分别进行线性映射并重塑为查询向量、键向量和值向量;

18、通过在通道维度上计算双时相特征的关联关系,生成通道关联分数矩阵;

19、将所述通道关联分数矩阵与值向量进行矩阵乘法,得到通道维度对齐后的特征;

20、

21、

22、

23、其中,,和是三个线性层的可学习参数,是线性投影矩阵,表示头的数量,表示每个头的通道尺寸,是通道维数,j;表示softmax操作;

24、通过残差连接将通道维度对齐后的特征与相应的时相特征相加,最终得到通道级对齐后的双时相特征。

25、进一步地,如上所述的面向视觉伪装目标的图像变化检测方法,所述差分光流对齐模块对双时相特征的处理包括:

26、将通道级对齐后的双时相特征分别输入由卷积层和高斯误差线性单元组成的光流mlp模块进行特征增强;

27、

28、

29、将增强后的双时相特征进行合并,通过卷积子网络生成差分光流场;

30、

31、根据所述差分光流场对双时相中的一时相特征进行空间扭曲,得到扭曲后的位置;

32、=+

33、其中,表示双时相图中某一个时相图中任一像素位置;

34、通过可微双线性采样机制,根据扭曲位置获得空间对齐后的扭曲特征;

35、

36、其中,表示该像素位置在扭曲特征中的位置,表示扭曲位置的四个邻域位置,该四个邻域位置包括:左上、左下、右上、右下,是扭曲空间网格上的双线性核权重;

37、计算所述扭曲特征与另一时相特征之间的绝对差值,得到空间对齐后的双时相差分特征。

38、进一步地,如上所述的面向视觉伪装目标的图像变化检测方法,所述隐式多尺度变化重建模块对某个尺度的双时相差分特征进行处理的过程包括:

39、在具有不同分辨率的多个双时相差分特征上定义隐式神经表示,为每个特征向量分配空间坐标x;

40、对于一个查询坐标,从每个尺度的双时相差分特征中获取距离其最近的隐式编码、相对坐标以及相对坐标的位置编码;

41、将所述隐式编码、相对坐标及其位置编码拼接后,输入至由多层感知器构成的解码函数中;

42、所述解码函数对各阶段特征进行解码并建模其关联关系,输出在查询坐标处的连续特征值,从而实现对多个双时相差分特征的轻量级精确对齐与重建,最终得到多尺度变化重建特征;

43、

44、其中,是第层距离最近的隐式编码,表示查询坐标与相对坐标,表示不同层级。

45、进一步地,如上所述的面向视觉伪装目标的图像变化检测方法,所述图像级伪装类型分类模块对所述多尺度变化重建特征的处理包括:

46、从所述多尺度变化重建特征中提取变化区域概率掩码,用于表示像素是否属于变化区域;

47、

48、其中,其中,表示由多尺度变化重建特征经像素级变化区域预测头得到的背景类别预测概率;x 和 y 表示当前像素在输出预测图中的横、纵坐标,m(x,y)表示对应像素位置属于变化区域的概率掩码;

49、将伪装目标的4个变化状态进行加权,得到加权后的变化类型概率;

50、

51、将所述区域概率掩码与所述变化类型概率相结合,通过逐像素计算,得到每个变化状态的概率;

52、

53、其中,表示代表预测结果图内坐标(x,y)处像素属于第k类变化状态的概率;

54、将每个变化状态的概率与背景类别预测概率经softmax函数归一化,最终输出伪装目标的变化状态;

55、

56、其中,表示伪装目标出现的预测概率,表示伪装目标消失的预测概率,表示伪装目标变大的预测概率,表示伪装目标变小的预测概率。

57、本发明具有以下有益效果:

58、(1)提高伪装目标变化区域的检测精度。

59、本方案通过双时相语义引导对齐模块、差分光流空间对齐模块以及隐式多尺度变化重建模块的协同作用,实现双时相图像在语义层面和空间层面的联合校正。其中,双时相语义引导对齐模块能够抑制光照变化、天气变化、季节变化以及背景变化引起的非真实变化信息;差分光流空间对齐模块能够补偿双时相图像之间的几何偏移;隐式多尺度变化重建模块能够有效恢复变化区域边缘细节和小尺度目标信息。通过上述机制,能够降低误检和漏检现象,提高变化区域定位能力和变化区域检测精度。本方案在vcod-cd数据集上的变化检测任务中精确率为89.81%,召回率为85.27%,f1值为87.36%,iou为78.07%,mae为0.1804,mse为0.0452。相较于现有主流检测方法具有更好的检测性能,验证了本方案在变化区域检测方面的有效性。

60、(2)实现变化区域检测与变化类型识别的联合输出。

61、本方案通过图像级伪装类型分类模块提取多尺度空间差异特征中的全局语义信息,并与变化区域特征进行联合建模,在完成变化区域定位的同时,实现对目标出现、消失、变大以及缩小等变化类型的自动识别,从而实现变化区域检测与变化类型识别的联合输出,提高变化检测结果的信息表达能力。本方案在变化类型分类任务中的精确率达到96.45%,召回率为95.24%,f1值为95.23%,能够准确识别不同类型的伪装目标变化,实现了从是否发生变化到发生何种变化的扩展。

62、(3)提高复杂场景下的环境适应能力和检测稳定性。

63、本技术构建了语义对齐、空间校正、连续重建、型识别的协同处理机制,使模型能够同时应对复杂背景、光照变化、视角变化以及弱边界伪装目标等多种干扰因素。通过双时相特征语义一致性约束、空间位置校正以及连续变化特征重建,有效降低了环境变化和空间错位对检测结果的影响,从而提高模型在复杂场景下的环境适应能力和检测稳定性。本方案在伪装目标变化检测任务和变化类型识别任务中均有较优性能,说明所提出的语义对齐、空间校正和连续重建机制能够有效提升模型在复杂场景下的综合检测能力,具有工程应用价值。