基于深度可靠性的伪装目标检测方法、装置及存储介质

摘要: 本技术实施例涉及检测,尤其涉及基于深度可靠性的伪装目标检测方法、装置及存储介质。背景技术:1、由于伪装目标颜色、纹理或形状与周围环境高度相似,导致目标与背景之间...
基于深度可靠性的伪装目标检测方法、装置及存储介质

本技术实施例涉及检测,尤其涉及基于深度可靠性的伪装目标检测方法、装置及存储介质。

背景技术:

1、由于伪装目标颜色、纹理或形状与周围环境高度相似,导致目标与背景之间的视觉区分度较低,检测过程中易出现目标边界模糊、局部结构辨识度不足等问题,还受到复杂背景的干扰,若仅依靠rgb外观信息进行检测,模型易将背景纹理误判为目标。

2、现有伪装目标检测方案主要为rgb-d多模态检测,rgb-d多模态方案通过单目推演得到深度图作为辅助模态,采用双分支结构分别提取rgb外观特征与深度特征,再通过跨模态融合、多尺度特征整合的思路融合两类信息,以此提升复杂环境下目标区分能力。

3、然而,现有rgb-d多模态方案直接将未经过可靠性判别与校正的深度特征用于跨模态融合,未区分各像素深度预测的置信度差异。受单目深度预测自身特性影响,深度图存在像素预测不稳定、局部结构失真的问题,低置信度的不可靠深度信息参与特征融合时会引入干扰噪声,最终导致伪装目标分割检测结果不准确。

技术实现思路

1、本技术公开了一种基于深度可靠性的伪装目标检测方法、装置及存储介质,用于提升复杂场景下伪装目标分割结果的准确度。

2、本技术第一方面公开了一种基于深度可靠性的伪装目标检测方法,包括:

3、获取待检测rgb图像,并基于所述待检测rgb图像生成对应的单目深度图;

4、将所述待检测rgb图像输入rgb特征提取网络进行特征提取,得到多个尺度的rgb特征;

5、将所述单目深度图输入深度特征提取网络进行特征提取,得到多个尺度的深度特征;

6、对每一尺度的所述rgb特征和所述深度特征进行深度可靠性校准处理,得到各尺度的可靠深度特征;

7、将同一尺度的rgb特征与对应尺度的可靠深度特征进行频域解耦差异化融合,得到多个单尺度融合特征;

8、将相邻尺度的单尺度融合特征进行双向差异引导多尺度聚合,生成多个多分辨率解码特征;

9、基于所述多个多分辨率解码特征中的最高分辨率解码特征进行特征映射,输出伪装目标分割预测图。

10、可选的,所述对每一尺度的所述rgb特征和所述深度特征进行深度可靠性校准处理,得到各尺度的可靠深度特征,包括:

11、对当前尺度的rgb特征与深度特征做逐元素绝对差值运算,得到跨模态差异特征;

12、将所述单目深度图的分辨率缩放至与所述当前尺度的rgb特征相匹配,得到缩放深度图;

13、对所述缩放深度图进行卷积运算,得到深度结构边缘响应;

14、基于所述跨模态差异特征与所述深度结构边缘响应生成逐像素深度可靠性图;

15、基于所述逐像素深度可靠性图对当前尺度的深度特征加权校正,得到可靠深度特征。

16、可选的,所述将同一尺度的rgb特征与对应尺度的可靠深度特征进行频域解耦差异化融合,得到多个单尺度融合特征,包括:

17、将同一尺度的rgb特征与对应尺度的可靠深度特征映射至统一特征空间,并通过haar离散小波变换分解得到多方向高频子带和低频子带;

18、对所述多方向高频子带执行门控加权融合,得到融合高频子带;

19、对所述低频子带执行双向多头跨通道注意力融合,得到融合低频子带;

20、将所述融合高频子带与所述融合低频子带进行逆小波变换重构,得到多个单尺度融合特征。

21、可选的,所述对所述多方向高频子带执行门控加权融合,得到融合高频子带,包括:

22、针对任一方向高频子带,获取由所述rgb特征分解得到的rgb高频分量、由所述可靠深度特征分解得到的可靠深度高频分量;

23、计算所述rgb高频分量与所述可靠深度高频分量之间的差值,得到跨模态差异信息;

24、将所述rgb高频分量、所述可靠深度高频分量以及所述跨模态差异信息进行拼接融合,得到联合特征;

25、基于所述联合特征分别生成高频残差特征与单通道高频可靠性门控图;

26、基于所述单通道高频可靠性门控图对所述rgb高频分量进行加权,得到加权结果;

27、将所述加权结果与所述高频残差特征相加,生成融合高频子带。

28、可选的,所述对所述低频子带执行双向多头跨通道注意力融合,得到融合低频子带,包括:

29、获取由所述rgb特征分解得到的rgb低频分量、由所述可靠深度特征分解得到的可靠深度低频分量;

30、分别对所述rgb低频分量和所述可靠深度低频分量进行投影变换,生成投影变换张量,所述投影变换张量包括rgb侧查询张量、rgb侧键张量、rgb侧值张量、深度侧查询张量、深度侧键张量以及深度侧值张量;

31、基于所述rgb侧查询张量匹配所述深度侧键张量和所述深度侧值张量,得到第一路注意力输出;

32、基于所述深度侧查询张量匹配所述rgb侧键张量和所述rgb侧值张量,得到第二路注意力输出;

33、将所述rgb低频分量、所述可靠深度低频分量、所述第一路注意力输出以及所述第二路注意力输出进行通道拼接和卷积聚合处理,生成融合低频子带。

34、可选的,所述将相邻尺度的单尺度融合特征进行双向差异引导多尺度聚合,生成多个多分辨率解码特征,包括:

35、选取相邻尺度中的高层单尺度融合特征与低层单尺度融合特征;

36、对所述高层单尺度融合特征进行通道调整与空间尺寸上采样,得到对齐高层特征;

37、计算所述对齐高层特征与所述低层单尺度融合特征的特征差值,并基于所述特征差值得到尺度差异门控权重;

38、基于所述尺度差异门控权重分别将所述对齐高层特征、所述低层单尺度融合特征做双向互补增强,得到增强高层特征与增强低层特征;

39、将所述增强高层特征与所述增强低层特征沿通道拼接,得到本级解码特征;

40、将所述本级解码特征作为下一级聚合的输入,重复双向差异引导聚合操作,逐层迭代得到多个多分辨率解码特征。

41、可选的,所述方法还包括:

42、对所述待检测rgb图像进行多尺度缩放和水平翻转扰动增强,得到多组扰动图像;

43、将所述多组扰动图像输入单目深度估计模型,生成多张扰动深度图;

44、选取一张扰动深度图作为基准,采用最小二乘法对全部扰动深度图执行仿射对齐处理,得到多张对齐扰动深度图;

45、逐像素计算全部对齐扰动深度图的像素均值与像素方差,得到均值深度图与像素级方差图;

46、对所述均值深度图进行归一化处理,得到归一化平均深度图;

47、对所述像素级方差图进行鲁棒归一化和衰减映射,得到深度稳定性置信度;

48、将所述待检测rgb图像转换为rgb灰度图,并采用sobel算子分别提取所述rgb灰度图的梯度幅值和所述均值深度图的梯度幅值;

49、基于所述rgb灰度图的梯度幅值和所述均值深度图的梯度幅值,比对所述rgb灰度图的sobel边缘响应与所述均值深度图的sobel边缘响应,得到边缘一致性项;

50、对所述均值深度图执行平均池化处理,得到池化深度图;

51、逐像素计算所述均值深度图与所述池化深度图的差值,得到局部深度对比度项;

52、将所述边缘一致性项与所述局部深度对比度项等权融合,得到连续空间先验;

53、将所述深度稳定性置信度与所述连续空间先验进行几何平均并归一化,生成伪监督深度可靠性图;

54、通过所述伪监督深度可靠性图监督训练深度可靠性校准处理对应的网络模块。

55、本技术第二方面公开了一种基于深度可靠性的伪装目标检测装置,包括:

56、获取单元,用于获取待检测rgb图像,并基于所述待检测rgb图像生成对应的单目深度图;

57、第一提取单元,用于将所述待检测rgb图像输入rgb特征提取网络进行特征提取,得到多个尺度的rgb特征;

58、第二提取单元,用于将所述单目深度图输入深度特征提取网络进行特征提取,得到多个尺度的深度特征;

59、校准处理单元,用于对每一尺度的所述rgb特征和所述深度特征进行深度可靠性校准处理,得到各尺度的可靠深度特征;

60、融合单元,用于将同一尺度的rgb特征与对应尺度的可靠深度特征进行频域解耦差异化融合,得到多个单尺度融合特征;

61、聚合单元,用于将相邻尺度的单尺度融合特征进行双向差异引导多尺度聚合,生成多个多分辨率解码特征;

62、映射输出单元,用于基于所述多个多分辨率解码特征中的最高分辨率解码特征进行特征映射,输出伪装目标分割预测图。

63、本技术第三方面提供了一种基于深度可靠性的伪装目标检测装置,包括:

64、处理器、存储器、输入输出单元以及总线;

65、处理器与存储器、输入输出单元以及总线相连;

66、存储器保存有程序,处理器调用程序以执行如第一方面以及第一方面的任意可选的方法。

67、本技术第四方面提供了一种计算机可读存储介质,计算机可读存储介质上保存有程序,程序在计算机上执行时执行如第一方面以及第一方面的任意可选的方法。

68、从以上技术方案可以看出,本技术实施例具有以下优点:

69、1、本方案在跨模态融合前增设深度可靠性校准步骤,能够对深度特征进行校正,过滤单目深度预测产生的不可靠像素,避免低可靠深度信息引入噪声,保障伪装目标的检测精度。

70、2、对校正后同尺度的rgb特征与可靠深度特征执行频域解耦差异化融合,区分不同频率特征完成信息融合,相比统一融合方式可更好地兼顾全局语义与目标细节特征。

71、3、采用双向差异引导方式聚合相邻尺度融合特征,实现多尺度特征互补优化,充分利用多层级特征信息,提升最终伪装目标分割预测图的准确性。