一种智慧交通场景下含雾图像的增强处理方法和装置

本发明涉及图像去雾，特别是涉及一种智慧交通场景下含雾图像的增强处理方法和装置。

背景技术：

1、在交通领域，视觉信息的准确获取与处理对于自动驾驶、智能交通系统等的高效运行至关重要。然而，雾霾天气会衰减光线传播，大幅降低摄像头采集图像的清晰度，造成道路、车辆、行人等关键目标轮廓模糊，直接干扰目标识别、行为分析、交通流量监测等下游视觉任务。

2、当前主流图像去雾增强手段仅依托网络拟合图像浅层纹理信息开展建模，未引入大气散射成像物理规律作为约束，模型缺乏物理先验支撑；同时特征提取阶段各层级特征交互关联性弱，图像多尺度细节信息挖掘不充分，解码阶段特征校正精度不足，最终重建的无雾图像仍存在目标细节丢失、雾残留明显的缺陷，无法满足雾天智能交通视觉处理任务的高精度运行要求。

3、鉴于此，克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。

技术实现思路

1、本发明要解决的技术问题是：现有智能交通含雾图像增强方式仅单纯依靠网络学习图像浅层纹理，未结合雾霾成像物理规律，层级间特征交互不足、多尺度信息提取不充分，解码校正精度差，最终重建图像目标细节模糊，难以满足雾天交通目标识别、流量监测等下游视觉任务的精度需求。

2、本发明采用如下技术方案：

3、第一方面，提供了一种智慧交通场景下含雾图像的增强处理方法，包括：

4、获取交通采集设备采集的含雾图像，对所述含雾图像分层提取多尺度的基础图像特征；在浅层特征提取阶段引入大气散射物理先验得到物理感知增强特征，并将同层级的基础图像特征与物理感知增强特征融合，得到各层级的单层主干特征；

5、对每一层的单层主干特征分别执行多尺度特征聚合与自适应注意力加权，融合所有层级加权结果得到多层增强旁侧特征；

6、对各层级单层主干特征进行采样以及多尺度融合校正处理，得到校正后的整体主干特征；将整体主干特征与多层增强旁侧特征融合得到综合特征；

7、基于所述综合特征重构输出无雾交通图像，将无雾交通图像输入下游交通视觉处理设备，以执行交通视觉处理任务。

8、优选的，所述在浅层特征提取阶段引入大气散射物理先验得到物理感知增强特征，并将同层级的基础图像特征与物理感知增强特征融合，得到各层级的单层主干特征，具体包括：

9、构建至少三路并行的特征提取支路，分别生成透射率近似特征、大气光近似特征以及透射率与大气光协同联合特征；

10、基于大气散射模型对透射率近似特征、大气光近似特征以及透射率与大气光协同联合特征执行逐像素乘、逐像素减以及逐像素加的融合运算得到所述物理感知增强特征；

11、将得到的物理感知增强特征与同层级的基础图像特征共同输入选择性核融合单元，完成两路特征融合以生成对应层级的单层主干特征。

12、优选的，透射率近似特征表示为：

13、；

14、大气光近似特征表示为：

15、；

16、透射率与大气光协同联合特征表示为：

17、；

18、物理感知增强特征表示为：

19、；

20、其中，为同层级的基础图像特征，表示轻量化卷积，表示非线性激活，表示将特征值域压缩至[0,1]，全局平均池化，表示对整幅特征图全局均值采样，表示哈达玛积。

21、优选的，所述对每一层的单层主干特征分别执行多尺度特征聚合与自适应注意力加权，融合所有层级加权结果得到多层增强旁侧特征，具体包括：

22、对当前层级的单层主干特征经过批次正则化预处理后，分别采用不同卷积运算提取出不同粒度的纹理子特征，将纹理子特征输出逐像素相加融合后再经卷积处理，生成聚合多尺度纹理信息的聚合特征，完成多尺度特征聚合；

23、将原始输入的单层主干特征单独引出支路，经卷积与激活运算生成自适应注意力权重，将自适应注意力权重与所述聚合特征逐像素相乘，完成特征筛选加权，得到加权后纹理特征；

24、将加权后纹理特征经卷积做通道调整，再与原始输入的单层主干特征逐像素残差相加，得到输出特征，并获取相邻层级输出的邻层主干特征，对邻层主干特征执行上采样或下采样完成尺度对齐，将尺度对齐后的邻层主干特征与输出特征逐像素相加融合，生成当前层级对应的层级增强特征；

25、依次得到每层各自对应的层级增强特征后，将全部层级增强特征按照预设权重逐像素相加汇总，以得到所述多层增强旁侧特征。

26、优选的，所述输出特征的生成公式为：

27、；

28、；

29、；

30、；

31、其中，为小尺度纹理子特征，为大尺度纹理子特征，为聚合特征，为经过批次正则化预处理后的当前层级的单层主干特征，为逐像素相加，为逐像素相乘，为轻量化卷积运算，为激活函数。

32、优选的，所述多层增强旁侧特征表示为：

33、；

34、其中，n为总层数，为超参数，为第i层的层级增强特征。

35、优选的，所述对各层级单层主干特征进行采样以及多尺度融合校正处理，得到校正后的整体主干特征，具体包括：

36、按照由深层向浅层的顺序逐层迭代处理，将上一层迭代后得到的校正主干特征送入上采样单元完成尺度放大；

37、将尺度放大后的校正主干特征与当前层级的单层主干特征逐像素相加融合，并依次经过两级残差单元完成纹理细节增强；将增强后的特征与上一层迭代后得到的校正主干特征逐像素相减完成差值校正，校正完成后送入选择性核融合单元动态融合多尺度通道信息，得到当前层级迭代后的校正主干特征；

38、逐层完成每层全部迭代校正操作，整合所有层级迭代后的校正主干特征，汇总形成校正后的整体主干特征。

39、优选的，所述方法还包括：

40、构建教师模型与学生模型；

41、采集真实交通场景含雾图像样本，同步输入教师模型和学生模型，分别输出对应的预测特征图与无雾重建图像；

42、以教师模型输出的特征分布、重建图像灰度分布作为软标签，结合清晰实景图像构成的硬标签共同构建复合损失函数；

43、采用复合损失函数反向传播迭代更新学生模型的卷积、融合单元权重，持续缩小学生模型与教师模型输出结果的分布差异，完成真实蒸馏训练；

44、训练完成后固化学生模型权重，用于实时处理交通采集设备输出的含雾图像。

45、第二方面，提供了一种智慧交通场景下含雾图像的增强处理装置，所述智慧交通场景下含雾图像的增强处理装置包括：处理器和用于存储处理器可执行指令的存储器；

46、其中，所述处理器被配置为执行所述的智慧交通场景下含雾图像的增强处理方法。

47、第三方面，提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，用于完成第一方面所述的智慧交通场景下含雾图像的增强处理方法。

48、第四方面，提供了一种芯片，包括：处理器和接口，用于从存储器中调用并运行存储器中存储的计算机程序，执行如第一方面所述的智慧交通场景下含雾图像的增强处理方法。

49、第五方面，提供了一种包含指令的计算机程序产品，当该指令在计算机或处理器上运行时，使得计算机或处理器执行如第一方面所述的智慧交通场景下含雾图像的增强处理方法。

50、与现有技术相比，本发明的有益效果在于：

51、本发明通过提取图像多尺度基础特征，在浅层引入大气散射先验生成物理感知增强特征并融合得到单层主干特征，贴合雾霾成像机理；对各层主干特征做多尺度聚合与自适应注意力加权，融合层级信息得到多层增强旁侧特征，对单层主干特征采样并多尺度校正得到整体主干特征，两类特征融合生成综合特征以用于图像重构。本发明充分利用了物理先验与多层级特征交互，丰富了图像多尺度细节，优化了雾区特征校正效果，重建出清晰的无雾交通图像提升了下游交通视觉处理任务的执行准确度。