基于多模态成像的水工钢闸门缺陷智能诊断方法及系统与流程

摘要: 本发明属于水利工程设施智能监测,具体地,涉及一种基于多模态成像的水工钢闸门缺陷智能诊断方法及系统。背景技术:1、水闸工程也是水利工程最主要的形式之一,作为大坝和...
基于多模态成像的水工钢闸门缺陷智能诊断方法及系统与流程

本发明属于水利工程设施智能监测,具体地,涉及一种基于多模态成像的水工钢闸门缺陷智能诊断方法及系统。

背景技术:

1、水闸工程也是水利工程最主要的形式之一,作为大坝和水闸的主要组成部分,水工钢闸门的安全运行是关乎防洪防旱、供水保障的关键。经过长期使用或历经特殊情况后,钢闸门会出现变形、锈蚀、焊道开裂等现象,严重影响工程的安全稳定和长期效益的发挥。传统水工钢闸门表面缺陷检测主要依赖人工巡检与基础图像分析技术,存在显著局限性。首先,人工检查需通过目视或手持设备近距离观测闸门表面,受限于水下复杂环境(如浑浊水体、暗光条件及水流冲击),检测效率低下且危险性高,尤其对深水区或大型闸门的全覆盖检测耗时极长。其次,人工判读主观性强,易受经验差异影响,导致漏检、误检率高,尤其在锈蚀初期或细微裂纹等隐蔽缺陷的识别中可靠性不足。

2、传统图像处理方法依赖人工设计特征,对多类型缺陷的泛化能力差,难以适应闸门表面纹理复杂、缺陷尺度差异大的特点,且易受水下噪声干扰,误判率居高不下。尽管近年来基于机器视觉的自动化检测技术逐步应用,但其性能仍受制于水下环境特殊性。现有算法多采用传统机器学习模型,需依赖大量先验特征工程,对低对比度、模糊图像的鲁棒性不足,且无法实现缺陷区域的精准定位。部分研究尝试引入卷积神经网络,但多为单一模态输入、跨层特征融合不足,难以有效提取多尺度缺陷特征,尤其在浑浊水体中易忽略微裂纹、隐性脱粘缺陷;同时采样策略固定、未适配水流与浑浊度动态调整,缺乏适配水下缺陷的困难样本挖掘机制,可解释性缺陷定位能力薄弱,模型迁移性差,难以适配复杂水下水利场景。

技术实现思路

1、本发明所要解决的技术问题是提供一种基于多模态成像的水工钢闸门缺陷智能诊断方法及系统,解决现有水工钢闸门缺陷检测,单一模态成像难以识别微裂纹与隐性脱粘等隐蔽缺陷,通过光谱、偏振、热红外三模态成像融合与改进型卷积神经网络架构作为核心技术框架,实现复杂水下环境下闸门多类型缺陷的高精度分类、像素级定位与可解释性诊断。

2、为解决上述技术问题,本发明所采用的技术方案是:一种基于多模态成像的水工钢闸门缺陷智能诊断方法,包括以下步骤:

3、步骤一、采集三模态原始图像数据:通过爬壁机器人搭载的三模态成像系统同步采集水工钢闸门表面的光谱图像、偏振图像和热红外图像三类图像数据,根据实时采集的水流速度与水体浑浊度,采用多因子动态自适应采样策略调整图像采样频率;

4、步骤二、对采集得到的三模态原始图像执行分模态差异化预处理,包括空间配准、对比度增强、去噪和尺寸统一;

5、步骤三、将预处理后的三模态图像分别输入改进型跨层融合vgg卷积神经网络,构建三模态并行提取、跨层融合、注意力校准的特征学习架构,进行端到端特征学习与缺陷分类,采用融合通道注意力的类别激活图技术生成缺陷热力图并完成定位;

6、步骤四、对步骤三构建的模型进行训练得到优化模型,将待检测的三模态原始图像直接输入训练好的优化模型,输出缺陷类别、置信度、缺陷区域热力图与二值掩膜。

7、优选的方案中,所述步骤一中,三模态成像系统包括光谱成像仪、偏振成像仪与热红外成像仪。

8、优选的方案中,所述步骤一中,根据实时采集的水流速度与水体浑浊度,采用多因子动态自适应采样策略调整图像采样频率,具体操作为:

9、设基准采样频率为,实时采集的水流速度为、水体浑浊度为,水流速度和水体浑浊度的预设工况上限值分别为、,对应权重系数分别为、,则实时采样频率满足:

10、。

11、优选的方案中,所述步骤二中,所述对比度增强为:针对光谱与偏振图像采用限制对比度自适应直方图均衡化进行局部对比度增强;所述去噪为:对三类模态图像统一采用非局部均值滤波抑制水介质散射噪声;所述尺寸统一为通过双线性插值将所有图像统一缩放像素尺寸。

12、优选的方案中,所述步骤三中,改进型跨层融合vgg卷积神经网络采用五组串联卷积块为基础特征提取单元,每组卷积块包含两层卷积层、批量归一化层与relu激活函数,末尾接最大池化层;光谱、偏振、热红外图像分别输入三组结构同构的特征提取支路,三模态并行提取,各自完成五层卷积块的特征提取后,在第五卷积块输出端通过可学习权重系数完成三模态特征加权融合。

13、优选的方案中,所述步骤三中,改进型跨层融合vgg卷积神经网络还将第三卷积块输出的中层细节特征与第五卷积块输出的高层语义特征进行上采样拼接,并在第三、第五卷积块后分别接入se通道注意力模块,网络末端采用全局平均池化层输出特征向量,经全连接分类层和softmax函数输出各类缺陷的概率。

14、优选的方案中,所述步骤三中,融合通道注意力的类别激活图技术为:结合se通道注意力模块输出的通道注意力权重与全连接层分类权重,对第五卷积层输出的特征图进行加权线性叠加,生成类别激活图,将低分辨率激活图上采样至原图尺寸,经高斯平滑和置信度阈值二值分割生成缺陷掩膜,输出缺陷的像素级位置、面积占比与形态分布。

15、优选的方案中,所述步骤三中,类别激活图生成步骤为:

16、全局平均池化输出的特征向量接入全连接分类层,经softmax函数输出各类缺陷的概率,其中全连接层分类权重对应第个特征通道对第类缺陷的分类贡献度;结合se通道注意力模块输出的通道注意力权重与全连接层分类权重,对第五卷积层输出的特征图进行加权线性叠加,得到第类缺陷的类别激活图:

17、;

18、式中,为特征图空间坐标,激活图数值越高代表模型对该类缺陷的判别关注度越高。

19、优选的方案中,所述步骤四中,将预处理后的数据集按比例随机划分为训练集、验证集与测试集,对训练集执行数据增强操作,采用随机搜索结合交叉验证进行超参数寻优,训练过程中实时监控验证集准确率与损失值,当验证集损失连续设置轮数未下降时终止训练并保存最优权重模型。

20、优选的方案中,所述步骤四中,模型训练中引入在线困难样本挖掘策略,每轮训练后按损失值排序选取设定比例的高损失样本在下一轮训练中提高采样权重,采用早停策略终止训练并保存最优权重模型。

21、本发明还提供一种基于多模态成像的水工钢闸门缺陷智能诊断系统,用于执行上述的诊断方法,包括:

22、三模态成像单元,包含光谱成像仪、偏振成像仪与热红外成像仪,用于同步采集闸门表面的物质光谱特征、表面纹理偏振特征与内部热分布特征,通过非接触式成像获取多维度缺陷图像数据;

23、爬壁巡检机器人,用于搭载三模态成像单元与传感模块,沿水工钢闸门表面执行全覆盖自主巡检,支持水上与水下环境行进;

24、主控制器,用于接收三模态图像数据,并执行基于多模态成像的水工钢闸门缺陷智能诊断方法,输出缺陷诊断结果与机器人运动控制指令;

25、伺服运动单元,接收主控制器的运动指令,驱动爬壁机器人完成沿闸门的竖向行进、周向转动与贴壁姿态调整;

26、辅助安全模块,包括限位开关、急停单元与状态指示灯,分别与主控制器连接,用于保障巡检系统运行的安全性与状态可观测性;

27、电源模块,采用防水型稳压电源为系统各单元供电,适配水下巡检工况需求。

28、本发明提供的一种基于多模态成像的水工钢闸门缺陷智能诊断方法及系统,具有以下有益效果:

29、1、通过光谱、偏振、热红外三模态融合、结合水流速度与水体浑浊度的动态自适应采样及分模态差异化图像增强与去噪技术,建立水下低对比度、浑浊水体、暗光与水流扰动场景的图像增强机制,解决传统单一模态难以检测微裂纹、隐性脱粘的技术瓶颈。

30、2、采用优化跨层特征融合的改进型跨层融合vgg架构,在减少参数量的同时,大幅提升对早期微锈蚀、微裂纹、隐性脱粘等隐蔽缺陷的检测敏感度;融合通道注意力机制的cam热力图生成技术,实现锈蚀、焊道开裂、涂层斑点、微裂纹、隐性脱粘的像素级精准定位;端到端自动化流程采用适配水下缺陷特征的策略以直接处理原始图像,有效摆脱人工特征提取依赖,满足端侧实时诊断与跨场景迁移学习需求。

31、3、一方面解决传统检测依赖人工经验、定位模糊、漏检误检率高导致的维修效率低下难题,另一方面通过微裂纹、隐性脱粘等隐蔽缺陷的高检出率与精准损伤量化,有效避免结构失效引发的安全事故,显著延长水工钢闸门服役寿命。