一种深度神经网络图像识别方法及系统与流程

本发明属于图像识别，尤其涉及一种深度神经网络图像识别方法及系统。

背景技术：

1、高压输电线路是电力系统中电能传输的核心载体，其安全运行直接关系到电网供电的可靠性与稳定性。在长期服役过程中，输电导线受风振、覆冰、电弧烧蚀等环境应力作用，绝缘子受污秽闪络、机械冲击等影响，金具受锈蚀、疲劳等因素作用，各类部件不可避免地出现磨损、裂纹、腐蚀、散股等缺陷。传统的人工巡检方式依赖运维人员登塔或地面望远镜目视观察，存在作业风险大、巡检效率低、检测结果受主观因素影响等问题。

2、近年来，无人机搭载可见光/红外成像设备沿输电走廊自主巡飞并连续采集视频数据，已成为电力巡检领域的主流技术方案。然而，受限于输电线路跨度大、杆塔数量多、部件种类繁杂等实际工况，单次巡检任务所采集的图像数据量极为庞大，人工逐帧审查的方式已无法满足及时性与准确性的双重要求。为提升巡检效率，部分技术方案引入深度神经网络对巡检图像中的缺陷进行自动识别。但现有方案大多基于单帧静态图像进行缺陷定位与分类，其输出结果仅包含缺陷的空间位置和类别信息。这类方法存在以下不足：其一，单帧检测无法利用同一缺陷在连续帧间呈现的形态变化信息，对微小缺陷或低对比度缺陷的检测置信度较低；其二，缺乏对缺陷在时序维度上的持续跟踪与形态演化建模能力，无法量化缺陷的扩展速度与发展趋势，难以支撑输电线路缺陷风险的自动分级与维护决策优化。

技术实现思路

1、本发明针对上述背景技术中所存在的技术问题，提出一种深度神经网络图像识别方法及系统。

2、为了达到上述目的，本发明采用的技术方案为：

3、s1、获取待检测目标的时序图像序列，对所述时序图像序列中的各帧图像进行二维离散小波变换，将各帧图像分解为低频近似子带和多个高频细节子带，得到多频带特征图像组；

4、s2、将所述多频带特征图像组输入预设的频域增强缺陷检测网络中得到各帧图像的缺陷检测结果，所述频域增强缺陷检测网络包括跨频带特征融合模块、可变形卷积特征增强模块和无锚框检测头模块；

5、s3、若存在缺陷，基于所述缺陷检测结果对各帧图像中的缺陷区域进行形态学特征提取，并进行归一化处理，得到缺陷形态特征描述符；

6、s4、将各帧对应的缺陷形态特征描述符输入预设的时序图卷积演化推理网络中，以各帧检测到的缺陷为图节点、以同一缺陷在相邻帧间的对应关系为有向边，构建缺陷演化图，通过图注意力卷积对各节点的形态特征进行时序消息传递与聚合，得到缺陷在形态特征空间中的演化轨迹；

7、s5、基于所述演化轨迹计算缺陷的综合形态演化速率，并通过缺陷演化评分模型对所述综合形态演化速率进行量化评分，得到缺陷演化分数以及图像识别结果。

8、作为优选，步骤s1中对时序图像序列中的各帧图像进行二维离散小波变换，具体包括：

9、选择haar小波基函数对各帧图像进行一级二维离散小波变换，得到四个子带系数矩阵：低频近似子带、水平高频子带、垂直高频子带和对角高频子带；

10、对所述四个子带系数矩阵分别进行逆小波重构，得到对应的空间域子图像；

11、对各空间域子图像进行归一化处理，将像素值范围映射至预设的统一数值区间，得到多频带特征图像组。

12、作为优选，域增强缺陷检测网络包括跨频带特征融合模块、可变形卷积特征增强模块和无锚框检测头模块；

13、所述跨频带特征融合模块用于接收多频带特征图像组，对低频近似子带进行全局结构特征提取，对各高频细节子带进行边缘纹理特征提取，通过跨频带注意力机制对不同频带特征进行自适应加权融合，得到跨频带融合特征图；

14、所述可变形卷积特征增强模块用于接收跨频带融合特征图，通过可变形卷积对缺陷区域的不规则形状进行感受野调整，得到形状自适应增强特征图；

15、所述无锚框检测头模块用于接收形状自适应增强特征图，进行缺陷中心点热力图预测和缺陷范围回归，得到各帧图像的缺陷检测结果。

16、作为优选，跨频带特征融合模块的处理过程包括：

17、对低频近似子带图像采用大卷积核卷积操作提取全局结构特征，得到低频结构特征图；

18、对各高频细节子带图像分别采用小卷积核卷积操作提取边缘、纹理和角点特征，得到高频细节特征图组；

19、将所述低频结构特征图和高频细节特征图组沿通道维度拼接后进行全局平均池化和全局最大池化，将两种池化结果分别输入共享多层感知器进行通道相关性计算，经sigmoid激活函数生成各频带特征通道的注意力权重矩阵，通过该注意力权重矩阵对各频带特征进行加权后沿通道维度融合，输出跨频带融合特征图。

20、作为优选，无锚框检测头模块的处理过程包括三个卷积分支：

21、通过第一卷积分支对所述形状自适应增强特征图进行卷积处理和sigmoid激活，输出中心点热力图，所述中心点热力图中每个位置的值表示该位置为缺陷中心点的置信度，对所述中心点热力图进行局部极大值筛选，将置信度大于预设施信度阈值的位置确认为缺陷中心点；

22、通过第二卷积分支对所述形状自适应增强特征图进行卷积处理，输出中心点偏移图，所述中心点偏移图中各位置的值表示中心点在水平方向和垂直方向的亚像素偏移量，基于所述亚像素偏移量对确认的缺陷中心点坐标进行修正；

23、通过第三卷积分支对所述形状自适应增强特征图进行卷积处理，输出缺陷尺寸图，所述缺陷尺寸图中各位置的值表示缺陷边界框的宽度和高度，基于修正后的缺陷中心点坐标在缺陷尺寸图中对应位置提取缺陷尺寸，确定缺陷边界框；

24、基于确认的缺陷中心点对应的置信度分数对缺陷进行类别预测，得到各帧图像的缺陷检测结果。

25、作为优选，形态学特征提取的过程包括：

26、基于缺陷位置掩膜截取各帧图像中的缺陷区域子图；

27、对所述缺陷区域子图进行自适应阈值二值化处理，计算缺陷像素面积与区域子图总面积的比值，得到缺陷面积占比；

28、对所述缺陷区域子图的缺陷边界进行链码跟踪测量边界周长，计算边界周长与同面积等效圆周长的比值，得到边界粗糙度指数；

29、对所述缺陷区域子图的灰度图像计算灰度共生矩阵，提取灰度共生矩阵的熵值作为纹理熵值；

30、计算缺陷区域最小外接矩形的长轴与短轴之比，得到延伸率；

31、对所述缺陷区域子图的缺陷边界采用盒计数法在多尺度网格下计算覆盖缺陷边界的盒子数与尺度的双对数回归斜率，得到分形维数；

32、基于上述各项提取结果，构成包含缺陷面积占比、边界粗糙度指数、纹理熵值、延伸率和分形维数的多项形态学特征。

33、作为优选，时序图卷积演化推理网络的构建及推理过程包括：

34、以时序图像序列中各帧检测到的缺陷为图节点，将归一化后的缺陷形态特征描述符作为节点的初始特征向量；

35、基于相邻帧间缺陷的位置交并比和形态特征描述符的余弦相似度进行缺陷匹配，将位置交并比大于第一预设阈值且余弦相似度大于第二预设阈值的相邻帧缺陷对之间建立有向边，边的方向沿时间顺序从前一帧指向后一帧；

36、为每条有向边赋予基于相邻帧时间间隔的倒数计算的边权重；

37、通过预设层数的图注意力卷积层对所述缺陷演化图进行逐层消息传递与聚合，每一层图注意力卷积通过计算相邻节点间的注意力系数对节点特征进行加权聚合，更新节点特征向量，所述图注意力卷积层的输出特征维度与输入特征维度保持一致；

38、经多层传播后，取各缺陷对应的所有帧节点输出特征按时序排列，构成该缺陷在形态特征空间中的演化轨迹。

39、作为优选，基于所述演化轨迹计算缺陷的综合形态演化速率的实现具体包括：

40、对演化轨迹中缺陷在相邻帧间的节点输出特征进行逐维度差分计算，得到各形态特征维度的一阶变化量；

41、对所述各维度一阶变化量分别除以相邻帧间的时间间隔，得到各形态特征维度的演化速率分量；

42、基于预设的各形态特征维度权重系数，对各演化速率分量的绝对值进行加权求和，所述权重系数反映各形态特征维度对缺陷严重程度的贡献度，得到综合形态演化速率。

43、作为优选，通过缺陷演化评分模型对所述综合形态演化速率进行量化评分，得到缺陷演化分数以及图像识别结果，具体包括：

44、对综合形态演化速率的时间序列中相邻时刻的速率求比值，得到速率比值序列；

45、基于所述速率比值序列计算平均增长因子和单调一致度，其中所述平均增长因子为所述速率比值序列中所有比值的几何均值，所述单调一致度为速率比值序列中大于1的比值个数与小于1的比值个数之差的绝对值占比值总数的比例；

46、基于平均增长因子和单调一致度通过缺陷演化评分模型得到缺陷演化分数，基于缺陷演化分数对缺陷进行严重程度分级，得到图像识别结果。

47、一种深度神经网络图像识别系统，具体包括：

48、频域分解模块，用于获取待检测目标的时序图像序列，对各帧图像进行二维离散小波变换，得到多频带特征图像组；

49、缺陷检测模块，用于将所述多频带特征图像组输入预设的频域增强缺陷检测网络中，通过跨频带特征融合模块、可变形卷积特征增强模块和无锚框检测头模块依次处理，得到各帧图像的缺陷检测结果；

50、形态特征提取模块，用于基于缺陷检测结果对各帧图像中的缺陷区域进行形态学特征提取，构建缺陷形态特征描述符；

51、演化推理模块，用于将各帧对应的缺陷形态特征描述符输入预设的时序图卷积演化推理网络中，以缺陷为节点、以相邻帧间同一缺陷对应关系为有向边构建缺陷演化图，通过图注意力卷积进行时序消息传递与聚合，得到缺陷演化轨迹；

52、状态评估模块，用于基于所述演化轨迹计算缺陷的综合形态演化速率，并通过缺陷演化评分模型对所述综合形态演化速率进行量化评分，得到缺陷演化分数以及图像识别结果。

53、与现有技术相比，本发明的优点和积极效果在于，本发明针对电力巡检单帧缺陷检测难以识别低对比度微小缺陷、无法量化缺陷演化趋势的问题，引入二维离散小波变换实现图像多频带分解，通过跨频带注意力融合、可变形卷积与无锚框检测头提升不规则缺陷检测精度。进一步提取多维度缺陷形态特征，构建缺陷演化图并利用图注意力卷积完成时序演化推理，得到缺陷形态演化轨迹。通过综合形态演化速率与评分模型实现缺陷发展趋势量化与风险分级。