基于先验退化提示的复杂退化场景目标检测方法及设备与流程

本发明涉及计算机视觉与图像处理领域，更具体地说，涉及基于先验退化提示的复杂退化场景目标检测方法及设备。

背景技术：

1、随着自动驾驶、智能安防、应急响应等智能视觉领域高速发展，户外采集的图像极易受低光照、雨、雪、雾等单一或组合退化因素干扰，造成图像细节模糊、对比度失衡、目标特征缺失等问题，导致传统目标检测模型特征提取能力大幅下降，检测精度显著降低，难以满足实际场景的落地需求。

2、针对退化场景目标检测已形成三类主流技术方案：

3、（一）先使用图像增强或复原网络对退化图像进行预处理，再使用检测器进行目标检测。该方法以图像视觉质量为优化目标，但是与目标检测的语义识别需求不匹配，增强图像无法有效提升检测性能。

4、（二）将低光增强网络与检测器联合训练，仅能适配低光、雨雪雾等单一场景，泛化性极差，无法应对未知以及复杂组合退化环境。

5、（三）多任务统一复原或提示学习虽然可兼容多种退化场景，但是模型参数量大、计算复杂度高，难以满足实时检测需求；而且无法充分挖掘图像自身退化先验信息，使得生成的提示信息在真实复杂场景下泛化能力不足。

6、综上，现有技术无法兼顾多退化场景适配能力、检测精度与轻量化实时性需求。

技术实现思路

1、有鉴于此，本发明提供了一种基于先验退化提示的复杂退化场景目标检测方法及装置，用于解决现有退化场景目标检测方法，无法兼顾多退化场景适配能力、检测精度与轻量化实时性需求的问题。

2、一种基于先验退化提示的复杂退化场景目标检测方法，包括：

3、获取待检测的退化图像，将所述退化图像输入图像恢复编码器，提取多尺度特征；

4、将所述退化图像输入先验感知提示生成模块，提取多层次退化先验，生成与当前退化图像内容自适应的动态提示参数；

5、通过多头注意力机制将动态提示参数与拼接特征进行空间维度上的自适应对齐与加权融合，得到目标增强特征，其中，拼接特征由当前层图像恢复编码器输出的原始特征与下一层图像恢复解码器输出的解码特征拼接融合得到；

6、将所述目标增强特征输入图像恢复解码器，通过上采样和跳跃连接逐步恢复图像分辨率，生成恢复图像；

7、将所述恢复图像输入目标检测器，输出目标检测结果。

8、优选地，所述图像恢复编码器提取多尺度特征的过程，包括：

9、各编码器层级通过步长为2的卷积进行下采样操作，并通过3×3卷积层提取当前尺度的原始特征。

10、优选地，先验感知提示生成模块提取多层次退化先验，生成动态提示参数的过程，包括：

11、对所述退化图像进行浅层特征提取；

12、将所述浅层特征分别输入标准卷积分支、局部细节注意力分支和全局结构注意力分支；

13、所述标准卷积分支保留原始退化特征；

14、所述局部细节注意力分支沿通道维度对输入特征进行加权，得到局部增强特征；

15、所述全局结构注意力分支基于全局注意力权重对输入特征进行加权，输出全局增强特征；

16、将原始退化特征、局部增强特征及全局增强特征在通道维度进行拼接融合，生成与图像恢复解码器各层级相匹配的动态提示参数。

17、优选地，所述局部细节注意力分支输出局部增强特征的过程，包括：

18、沿通道维度对输入特征分别进行全局平均池化和全局最大池化，得到全局平均特征和全局最大特征；

19、将全局平均特征和全局最大特征沿通道维度进行拼接；

20、将拼接特征通过卷积和激活函数生成空间注意力权重；

21、将空间注意力权重与输入特征相乘得到局部增强特征。

22、优选地，全局结构注意力分支输出全局增强特征的过程，包括：

23、对输入特征分别进行水平和垂直方向的长距离平均池化，得到水平特征和垂直特征；

24、通过对应的卷积层对水平特征和垂直特征进行特征变换，得到水平变换特征和垂直变换特征；

25、通过复制操作将水平变换特征和垂直变换特征扩展回原始空间尺寸；

26、将水平变换特征和垂直变换特征逐元素相加，并经1×1卷积层和sigmoid激活函数，生成全局注意力权重；

27、将全局注意力权重与输入的浅层特征逐元素相乘，得到全局增强特征。

28、优选地，生成与图像恢复解码器各层级相匹配的动态提示参数，包括：

29、将原始退化特征、局部增强特征及全局增强特征在通道维度进行拼接，并通过1×1卷积层对通道数进行降维，得到融合特征；

30、将融合特征与输入的浅层特征进行残差连接，并进行自适应平均池化，将空间尺寸调整到图像恢复解码器各层级提示所需尺寸相匹配，得到动态提示参数。

31、优选地，通过多头注意力机制将动态提示参数与拼接特征进行空间维度上的自适应对齐与加权融合，包括：

32、对各解码器层级对应尺度的拼接特征和动态提示参数进行通道注意力处理，得到通道加权特征；

33、将拼接特征与通道加权特征在通道维度进行特征拼接，经通道重排、深度可分离卷积、卷积及激活处理，生成提示权重；

34、将提示参数上采样至与拼接特征相同的空间尺寸，与提示权重逐元素相乘并经卷积处理，得到调制后的目标提示参数；

35、利用卷积操作对拼接特征和目标提示参数进行下采样，并通过多头注意力机制计算注意力权重，输出目标增强特征。

36、优选地，通过多头注意力机制输出目标增强特征，包括：

37、将多尺度拼接特征和目标提示参数下采样得到的查询向量和键向量沿通道维度划分为

n个注意力头；

38、在各注意力头上将查询向量和键向量逐元素相乘，得到各注意力头权重；

39、将各注意力头权重沿头维度进行softmax归一化，得到各注意力头的归一化权重；

40、基于各注意力头的归一化权重、查询向量和键向量分别计算值向量子块；

41、将所有注意力头的值向量子块在通道维度拼接；

42、将拼接后的值向量子块上采样回原始空间尺寸，并与拼接特征进行残差连接；

43、将残差连接后的特征与目标提示参数在通道维度拼接，通过一个1×1卷积层进行通道融合，得到目标增强特征。

44、一种基于先验退化提示的复杂退化场景目标检测设备，包括：存储器和处理器；

45、所述存储器，用于存储程序；

46、所述处理器，用于执行所述程序，实现如前述基于先验退化提示的复杂退化场景目标检测方法的各个步骤。

47、根据本发明提供的具体实施例，本发明公开了以下技术效果：

48、（1）本发明提供的基于先验退化提示的复杂退化场景目标检测方法，获取待检测的退化图像，将退化图像输入图像恢复编码器，提取多尺度特征；将退化图像输入先验感知提示生成模块，提取多层次退化先验，生成与当前退化图像内容自适应的动态提示参数。本发明将退化图像输入先验感知提示生成模块，从输入退化图像中显式提取多层次、多尺度的退化先验信息，从而生成与输入图像退化内容自适应的动态提示参数，为模型提供精准且灵活的退化感知指导。

49、（2）本发明通过多头注意力机制将动态提示参数与拼接特征进行空间维度上的自适应对齐与加权融合，得到目标增强特征；将目标增强特征输入图像恢复解码器，通过上采样和跳跃连接逐步恢复图像分辨率，生成恢复图像；将恢复图像输入目标检测器，输出目标检测结果。而拼接特征是由当前层图像恢复编码器输出的原始特征与下一层图像恢复解码器输出的解码特征拼接融合得到。本发明在解码器各层级引入空间维度的自适应对齐与加权融合机制，将动态提示参数与多尺度图像特征进行深度交互，有效提升了模型对目标检测相关语义信息的建模能力与特征判别性。