一种面向电力巡检的低照度图像增强方法与流程
本发明涉及电力巡检图像处理领域,具体为一种面向电力巡检的低照度图像增强方法。
背景技术:
1、目前,电力巡检图像广泛用于输电线路、杆塔、绝缘子、金具及变电构架的状态检查。受夜间、背光、阴影和局部照明不均等成像条件影响,巡检图像容易出现亮度不足、局部色彩偏差和细节辨识度下降等情况;同时,导线、绝缘子串和金具等目标具有边缘密集、尺度较小及局部结构连续的特点,图像增强过程中需要兼顾亮度恢复、色彩修正和空间结构保持。
2、针对上述低照度电力巡检图像,现有图像增强方法通常通过卷积网络提取图像特征,并采用多层特征变换完成亮度和色彩恢复;为扩大空间信息获取范围,部分方法增加特征通道宽度,或者构建多尺度特征层,通过下采样和上采样获得不同分辨率下的上下文信息,再将多层特征融合并重建增强图像。部分方法还采用残差连接或注意力机制,对中间特征进行加权后输出增强结果。
3、现有处理方式在高分辨率电力巡检图像中仍存在适配不足。依靠网络内部特征隐式定位亮度异常和色彩异常,需要占用较多特征通道,亮度退化信息与色彩退化信息还可能在共享特征处理中相互影响;通过增加通道宽度、多分支全宽处理或反复进行尺度变换获取不同感受野信息,会增加参数量、运算量和中间特征存储。下采样和上采样还可能改变细小结构的局部响应位置,不利于保持增强图像与原巡检图像之间的空间坐标对应关系。
4、因此,本发明提供了一种面向电力巡检的低照度图像增强方法,以解决现有技术中存在的不足之处。
技术实现思路
1、针对现有技术的不足,本发明提供了一种面向电力巡检的低照度图像增强方法,解决了现有低照度电力巡检图像中亮度不足、色彩失真及细小结构易受损,同时现有增强方法模型复杂度较高且难以保持输入输出空间位置对应的问题。
2、为实现以上目的,本发明通过以下技术方案予以实现:
3、一种面向电力巡检的低照度图像增强方法,包括以下步骤:
4、获取低照度电力巡检rgb图像,提取亮度图、色度分量、亮度多视图引导数据和反射多视图引导数据;
5、局部平滑亮度图得到局部稳定亮度,根据亮度图与局部稳定亮度的归一化差生成局部亮度高频结构退化先验;
6、以亮度图引导色度分量滤波,根据滤波前后差异生成亮度引导色度高频结构退化先验;
7、将局部亮度高频结构退化先验加入亮度多视图引导数据,将亮度引导色度高频结构退化先验加入反射多视图引导数据,由参数独立的亮度处理路径和色彩校正路径执行特征投影及分量注意力加权,获得两路注意力加权特征;
8、对所述两路注意力加权特征执行全分辨率混合感受野处理,包括通道分组、采用不同空间感受野的深度卷积、拼接及逐点卷积融合;
9、亮度处理路径和色彩校正路径分别输出单通道亮度校正量和三通道色彩校正量,将单通道亮度校正量广播后与三通道色彩校正量逐元素相乘形成增强残差,并与低照度电力巡检rgb图像相加得到增强图像。
10、通过采用上述技术方案,由亮度图与局部稳定亮度之间的局部差异形成局部亮度高频结构退化先验,并由亮度图约束下色度分量滤波前后的差异形成亮度引导色度高频结构退化先验,使亮度局部结构变化和色度局部结构变化分别进入亮度处理路径和色彩校正路径;
11、同时利用全分辨率混合感受野处理提取不同邻域范围的空间结构信息,并通过单通道亮度校正量和三通道色彩校正量构成增强残差,因此,在不执行空间下采样和空间上采样的情况下完成低照度图像的亮度修正、色彩修正和结构信息处理,并保持增强图像与低照度电力巡检rgb图像之间的空间位置对应关系。
12、优选的,所述提取亮度图、色度分量、亮度多视图引导数据和反射多视图引导数据的具体过程为:
13、按照rec.709标准,根据所述低照度电力巡检rgb图像的红色通道、绿色通道和蓝色通道计算亮度图,其中,红色通道、绿色通道和蓝色通道分别按照0.2126、0.7152和0.0722的固定通道加权系数进行加权求和;
14、根据bt.601标准从所述低照度电力巡检rgb图像获得第一色度分量和第二色度分量,作为色度分量;
15、从所述低照度电力巡检rgb图像提取通道最大值、明度和rgb向量范数,并与亮度图组成亮度多视图引导数据;
16、从所述低照度电力巡检rgb图像提取归一化色彩比例和饱和度,并与第一色度分量和第二色度分量组成反射多视图引导数据。
17、通过采用上述技术方案,亮度多视图引导数据和反射多视图引导数据分别汇集所述低照度电力巡检rgb图像中与亮度处理和色彩校正相关的固定解析信息,为后续两类结构退化先验的加入以及参数独立的双路径特征处理提供对应输入数据。
18、优选的,所述局部亮度高频结构退化先验的生成具体过程为:
19、对亮度图执行步长为1的局部盒式滤波,并通过边界填充保持输入输出空间尺寸一致,获得局部稳定亮度;
20、计算亮度图与局部稳定亮度的绝对差,将所述绝对差除以局部稳定亮度、所述绝对差及正数稳定项之和,所得归一化响应作为局部亮度高频结构退化先验;
21、边界填充采用反射填充,输入尺寸不足以支持反射填充时采用复制填充。
22、通过采用上述技术方案,以局部稳定亮度作为当前空间位置的邻域亮度基准,并利用亮度图与局部稳定亮度的差异进行归一化,使局部亮度高频结构退化先验对应表征低照度电力巡检rgb图像中的局部亮度结构偏离。
23、优选的,所述亮度引导色度高频结构退化先验的生成具体过程为:
24、以亮度图为引导分别对第一色度分量和第二色度分量执行引导滤波,获得第一稳定色度分量和第二稳定色度分量;
25、分别计算第一色度分量与第一稳定色度分量之间的差异以及第二色度分量与第二稳定色度分量之间的差异,将两个差异的平方与正数稳定项的平方求和后开平方,得到联合色度残差;
26、再将联合色度残差除以局部稳定亮度、联合色度残差及正数稳定项之和,生成亮度引导色度高频结构退化先验。
27、通过采用上述技术方案,第一色度分量和第二色度分量分别受到同一亮度图的结构约束,联合色度残差综合反映两个色度方向在引导滤波前后的局部变化,并经局部稳定亮度归一化后形成与局部亮度状态相对应的色度高频结构退化信息。
28、优选的,所述引导滤波的具体过程为:
29、针对第一色度分量和第二色度分量,分别在局部窗口内计算亮度图的局部亮度均值、对应色度分量的局部色度均值、亮度方差以及亮度图与对应色度分量之间的协方差;
30、根据所述协方差与加入正则项后的亮度方差之比确定局部线性系数,并根据局部亮度均值和局部色度均值确定偏置;
31、分别对局部线性系数和偏置进行盒式平滑,并与亮度图组合得到第一稳定色度分量和第二稳定色度分量。
32、通过采用上述技术方案,第一稳定色度分量和第二稳定色度分量分别由亮度图约束下的局部线性关系获得,使后续联合色度残差建立在滤波前色度分量与对应稳定色度分量之间的局部差异基础上。
33、优选的,将局部亮度高频结构退化先验加入亮度多视图引导数据,形成亮度侧增强引导数据;
34、将亮度引导色度高频结构退化先验加入反射多视图引导数据,形成色彩侧增强引导数据;
35、分别通过逐点卷积将亮度侧增强引导数据和色彩侧增强引导数据映射为亮度处理路径预处理特征和色彩校正路径预处理特征,亮度处理路径和色彩校正路径采用独立参数进行特征处理。
36、通过采用上述技术方案,局部亮度高频结构退化先验和亮度引导色度高频结构退化先验分别进入对应的数据处理路径,使亮度局部结构退化信息与色度局部结构退化信息不发生路径交换,并通过独立的逐点卷积完成对应特征通道空间的投影。
37、优选的,所述分量注意力加权的具体过程为:
38、分别将亮度侧增强引导数据和色彩侧增强引导数据按组成分量进行处理,对各组成分量执行空间深度卷积并进行逐点投影,生成对应注意力响应;
39、通过sigmoid函数将对应注意力响应转换为对应注意力权重;
40、将对应注意力权重分别与亮度处理路径预处理特征和色彩校正路径预处理特征逐元素相乘,获得亮度处理路径的注意力加权特征和色彩校正路径的注意力加权特征。
41、通过采用上述技术方案,各组成分量分别形成对应空间响应,并由对应注意力权重作用于相应路径预处理特征,使两路增强引导数据中的不同解析信息和结构退化信息按照其空间响应参与后续特征处理。
42、优选的,所述全分辨率混合感受野处理的具体过程为:
43、将每路注意力加权特征沿通道方向划分为多个通道组,对各通道组分别执行深度卷积,不同通道组采用不同空间感受野,各深度卷积的步长为1并通过边界填充保持空间尺寸不变;
44、将各通道组的处理结果沿通道方向拼接,并依次通过逐点卷积、批归一化和修正线性单元完成跨通道组融合。
45、通过采用上述技术方案,不同通道组分别获取不同邻域范围内的空间结构信息,并通过通道方向拼接及逐点卷积进行跨通道组信息融合,在保持空间分辨率不变的条件下形成不同空间感受野之间的组合处理。
46、优选的,所述全分辨率混合感受野处理还包括第一特征增强处理和第二特征增强处理,第一特征增强处理位于通道分组之前,第二特征增强处理位于跨通道组融合之后;
47、每一特征增强处理均对对应输入特征执行层归一化,将层归一化后的特征分别输入局部深度卷积分支和通道激励分支,将局部深度卷积分支和通道激励分支的输出逐元素相乘后与对应输入特征相加。
48、通过采用上述技术方案,在通道分组前以及跨通道组融合后分别结合局部空间处理、通道选择和残差连接,使通道分组处理前后的特征均保持局部空间信息与通道响应之间的对应关系。
49、优选的,亮度处理路径和色彩校正路径经过全分辨率混合感受野处理后,分别通过相互独立的逐点卷积输出头获得单通道亮度校正量和三通道色彩校正量;
50、将单通道亮度校正量沿颜色通道方向广播至三个颜色通道后与三通道色彩校正量逐元素相乘,形成三通道增强残差;
51、将三通道增强残差与低照度电力巡检rgb图像逐元素相加,得到增强图像。
52、通过采用上述技术方案,单通道亮度校正量对各空间位置提供亮度修正信息,三通道色彩校正量对三个颜色通道提供对应色彩修正信息,二者逐元素组合形成三通道增强残差,并直接作用于低照度电力巡检rgb图像的对应空间位置,从而完成增强图像重建。
53、进一步地,亮度图、色度分量、亮度多视图引导数据、反射多视图引导数据、局部亮度高频结构退化先验、亮度引导色度高频结构退化先验、两路注意力加权特征以及增强图像均保持与低照度电力巡检rgb图像对应的空间位置关系。全分辨率混合感受野处理采用步长为1的深度卷积并通过边界填充保持空间尺寸不变,整个增强过程不执行基于空间分辨率变化的下采样和上采样操作。
54、通过采用上述技术方案,低照度电力巡检rgb图像从结构退化先验构建、双路径特征处理、全分辨率混合感受野处理至增强残差重建均保持空间位置对应关系,输出增强图像能够直接用于后续目标检测、区域识别以及人工复核。
55、本发明提供了一种面向电力巡检的低照度图像增强方法。具备以下有益效果:
56、1.本发明通过对低照度电力巡检rgb图像进行固定解析处理,分别生成局部亮度高频结构退化先验和亮度引导色度高频结构退化先验,并将两类结构退化先验加入对应的亮度多视图引导数据和反射多视图引导数据。由此能够直接利用输入图像中的亮度局部偏离信息和色度局部偏离信息为后续特征处理提供位置依据,无需另外设置用于提取结构退化先验的可训练网络。
57、2.本发明采用参数独立的亮度处理路径和色彩校正路径分别处理亮度侧增强引导数据和色彩侧增强引导数据,并通过分量注意力加权对对应预处理特征进行选择。该处理方式使亮度修正信息和色彩修正信息分别在独立路径中建模,有利于减少两类退化信息在特征处理过程中的相互影响。
58、3.本发明在保持空间分辨率不变的条件下,将注意力加权特征沿通道方向划分为多个通道组,并对不同通道组采用不同空间感受野的深度卷积,再通过拼接和逐点卷积完成跨通道组融合。由此能够在不构建图像金字塔以及不进行空间下采样和上采样的情况下提取不同邻域范围的结构信息,同时使增强图像与低照度电力巡检rgb图像保持对应的空间位置关系,便于后续目标检测、区域识别和人工复核。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com