面向客运索道钢丝绳表面图像的自适应增强缺陷检测方法与流程

本发明涉及机器视觉缺陷检测，具体涉及面向客运索道钢丝绳表面图像的自适应增强缺陷检测方法。

背景技术：

1、客运索道承载钢丝绳属于载人特种设备核心受力部件，长期暴露于山地露天环境，受自然光剧烈变化、山体阴影、雨水油污、粉尘附着持续影响。传统检测方式主要依靠人工高空目视巡检与离线电磁漏磁探伤，人工巡检作业风险高、检测结果主观性强，微小断丝、早期浅表锈蚀极易漏检；电磁漏磁检测侧重识别钢丝绳内部金属截面积损耗，难以精细分辨各类表面表观缺陷，无法实现全天候、不间断在线视觉监测。近年来机器视觉技术逐步应用于钢丝绳损伤识别，但现有方案大多面向矿井提升、电梯室内场景开发，难以适配客运索道独有的复杂成像工况，亟需针对性算法方案提升露天场景下缺陷检测稳定性。

2、xia h等人在文献《visualization and quantification of broken wires insteel wire ropes based on induction thermography》（ieee sensors journal，2021）提出基于感应热成像的钢丝绳断丝可视化量化检测思路，借助形态学图像分割抑制加热不均带来的背景干扰，提取断丝区域像素特征实现损伤定量统计。该方案验证了图像预处理结合深度学习完成钢丝绳缺陷识别的可行性，但整套方法根据主动红外热成像设备，设备部署成本高，难以直接适配客运索道大范围长距离在线巡检场景；同时其图像分解思路仅简单区分前景与背景分量，未考虑钢丝绳螺旋捻制结构带来的周期性纹理干扰，也未利用连续图像序列时空关联信息分离自然光光照、表面油污反光等多重干扰，采用固定参数图像增强策略容易造成局部区域过增强或者细节丢失，在光照持续波动的露天山地场景下，微小尺度早期缺陷特征容易被纹理噪声淹没，检测精度波动明显。

3、中国发明专利申请（公开号cn107290349a）公开一种索道钢丝绳安全状态监测及报警标记的检测装置、系统和方法，通过搭建相机与辅助光源组成的图像采集硬件架构，结合速度传感器实现钢丝绳图像同步采集，通过预设阈值分割方式提取钢丝绳区域并完成缺陷识别。该方案首次将视觉检测架构落地于客运索道场景，但存在显著局限性：整套图像处理流程缺少物理层面的图像分量解耦机制，无法将环境光照、油污反光与钢丝绳固有纹理进行有效分离；图像增强模块采用固定参数滤波操作，不能依据实时环境状态自适应调整增强策略；增强处理与缺陷检测相互独立，不存在闭环协同训练机制，增强过程极易扭曲缺陷原始轮廓形态，难以区分绳股天然纹理与真实微小损伤，面对野外多变光照条件下采集的低质量图像，误检、漏检问题突出。

技术实现思路

1、基于上述技术问题，本技术公开了面向客运索道钢丝绳表面图像的自适应增强缺陷检测方法，包括以下步骤：

2、获取客运索道钢丝绳表面的连续图像序列及同步采集的环境状态参数；

3、构建融合钢丝绳螺旋几何先验的表面反射解耦模型，基于所述环境状态参数和连续图像序列的时空相关性，从原始图像中分离出环境光照分量、油污反光分量和固有纹理分量；

4、利用所述环境光照分量和油污反光分量生成场景自适应调制向量，并通过所述场景自适应调制向量对动态卷积核进行权重调整，对所述固有纹理分量执行保真增强，获得增强后的钢丝绳表面图像；

5、将增强后的钢丝绳表面图像输入缺陷检测网络，并计算增强前后缺陷区域的方向场特征差异；

6、构建包含方向场一致性约束项和检测损失的联合损失函数，对增强网络和检测网络进行端到端训练；其中，所述方向场一致性约束项被配置为：当增强导致缺陷区域的主梯度方向偏移超过预设角度阈值时，反向抑制对应空间位置的增强强度，以保持钢丝绳缺陷的轴向或周向形态特征。

7、优选的，构建融合钢丝绳螺旋几何先验的表面反射解耦模型，具体包括：

8、基于钢丝绳的捻距参数和绳径参数，构建螺旋纹理掩膜；

9、将原始图像分解为环境光照分量、油污反光分量和固有纹理分量，分解过程满足以下约束方程：

10、

11、其中，表示逐元素乘法，为残差项；

12、通过最小化以下能量函数求解各分量：

13、其中，为光照平滑正则项，为油污反光的低秩约束项，为固有纹理的螺旋结构一致性正则项，为对应的权重系数。

14、优选的，所述螺旋结构一致性正则项的公式为：

15、其中，为固有纹理分量在像素处的梯度向量，为根据螺旋几何先验计算的该像素处钢丝绳股丝的理论切线方向单位向量，表示转置运算。

16、优选的，利用所述环境光照分量和油污反光分量生成场景自适应调制向量，具体包括：

17、对环境光照分量进行全局平均池化和对数变换，得到光照特征向量；

18、对油污反光分量进行通道注意力提取，得到油污特征向量；

19、将同步采集的环境状态参数编码为环境特征向量；

20、将、和拼接后输入多层感知机，生成场景自适应调制向量：

21、

22、其中，为可学习权重矩阵，为偏置项，为sigmoid激活函数，表示向量拼接操作。

23、优选的，通过所述场景自适应调制向量对动态卷积核进行权重调整，对所述固有纹理分量执行保真增强，具体包括：

24、设定基础卷积核集合；

25、利用场景自适应调制向量生成个核组合权重：

26、

27、其中，为第个基础卷积核对应的可学习权重向量；

28、生成动态卷积核并对固有纹理分量进行卷积增强：

29、

30、

31、其中，表示二维卷积运算，为增强后的固有纹理分量。

32、优选的，计算增强前后缺陷区域的方向场特征差异，具体包括：

33、对增强前的固有纹理分量和增强后的钢丝绳表面图像分别计算梯度张量场；

34、在缺陷检测网络输出的缺陷边界框区域内，计算增强前后的主梯度方向角和；

35、计算方向场特征差异：

36、

37、其中，为缺陷边界框内的像素集合，为其像素数量。

38、优选的，所述方向场一致性约束项的公式为：

39、

40、为当前批次中缺陷样本的数量，为第个缺陷样本的方向场特征差异，为预设角度阈值，为缺陷检测网络对第个缺陷样本的检测置信度。

41、优选的，利用连续图像序列的时空相关性辅助分离油污反光分量，具体包括：

42、对连续图像序列中相邻帧进行光流估计，得到运动场；

43、基于钢丝绳的匀速运动模型，计算理论运动场；

44、将运动场偏差作为油污反光分量的时序区分权重：

45、

46、其中，为运动偏差容忍度参数；

47、在所述能量函数的求解过程中，将作为油污反光分量的像素级加权因子。

48、优选的，所述联合损失函数的表达式为：

49、

50、其中，为缺陷检测网络的检测损失，为方向场一致性约束项，为图像重建损失，和为平衡系数；

51、所述平衡系数采用自适应调节策略，其更新规则为：

52、

53、其中，为第次迭代的平衡系数，为调节步长，为指示函数，为最近次迭代中的滑动平均值，当滑动平均值未下降时自动增大以强化方向场约束。

54、相对于现有技术，本技术的技术方案具有以下技术效果：

55、本发明根据钢丝绳螺旋几何先验构建表面反射解耦模型，能够结合连续图像时空关联特性以及环境状态参数实现图像多分量分离，有效区分环境光照油污反光与钢丝绳固有纹理信息，厘清原始图像中不同类型信号组分，为后续图像增强运算提供纯净有效的基础图像数据，减少各类无关干扰信息持续传递至下游处理流程。

56、本发明通过光照分量油污反光分量联合生成场景自适应调制向量，利用调制向量动态调控卷积核权重完成固有纹理分量保真增强，能够依据图像局部场景特征自主调整增强执行策略，在强化潜在缺陷特征表达的同时维持钢丝绳本体纹理结构完整，避免增强操作引发的图像特征失真问题。

57、本发明在增强前后缺陷区域引入方向场特征差异计算机制，构建方向场一致性约束项参与联合损失函数运算，训练阶段能够约束增强过程维持缺陷区域梯度方向特征稳定，保障钢丝绳各类损伤轴向与周向形态不会在图像增强环节发生畸变，保留缺陷原始形态特征用于后续识别处理。

58、本发明采用包含多重约束项的联合损失函数实现增强网络与检测网络端到端协同训练，并对损失平衡系数设置自适应调节机制，使网络参数能够同步迭代优化，打通图像增强与缺陷识别之间的关联链路，提升整套检测流程对于露天多变成像条件的适配能力，保障缺陷识别流程持续稳定运行。

59、上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，从而可依照说明书的内容予以实施，并且为了让本技术的上述和其他目的、特征和优点能够更明显易懂，以下以本技术的较佳实施例并配合附图详细说明如后。

60、根据下文结合附图对本技术具体实施例的详细描述，本领域技术人员将会更加明了本技术的上述及其他目的、优点和特征。