基于多模态融合特征的微小缺陷检测方法与流程
本技术涉及图像识别,具体涉及基于多模态融合特征的微小缺陷检测方法。
背景技术:
1、长期部署并运行于户外复杂自然环境中的目标设备,在持续承受气动交变载荷、昼夜交变温差以及雨雪风沙等恶劣气象的长期侵蚀下,其结构极易发生缓慢退化。这种退化在初期通常表现为细微的表面裂纹、涂层剥落等外部物理缺陷,以及复合材料层间脱粘、内部气泡等肉眼难以察觉的隐蔽内部疲劳缺陷。这些微小缺陷若不能被及时发现并处理,将随着应力循环迅速扩展,最终导致设备发生严重的结构断裂或系统级故障。
2、现有技术多采用计算机视觉方法进行缺陷检测,然而,单一模态的图像检测手段存在固有的视觉盲区:可见光(rgb)图像虽然具有极高的分辨率,能够清晰捕捉到划痕、微裂纹等表面纹理变化,但对于表面保持完好而内部结构已经严重脱粘受损的隐蔽缺陷完全无能为力;而红外热成像虽然能够通过捕捉材料异常的热分布及热阻差异,敏锐地表征出内部分层或气泡等隐藏缺陷,却受限于其自身的物理分辨率瓶颈,极难辨识宽度细微的表面裂纹。为了克服单一模态的感知局限,多模态特征融合技术逐渐被引入缺陷检测领域,现有的多模态融合方法通常采用固定的通道拼接或分配静态的融合权重,忽略了图像中不同区域的易损差异,且彻底割裂了图像特征与设备物理退化机理及实时环境显影条件的内在联系,固定权重的融合策略难以依据空间位置、服役环境及成像条件自适应调整两模态贡献,导致在弱光热环境下极易引入红外噪声,或在易损区域未能充分放大可见光特征,严重限制了微小缺陷的检测能力与鲁棒性。
技术实现思路
1、为了解决上述技术问题,提供基于多模态融合特征的微小缺陷检测方法。
2、本技术解决技术问题的方案是提供基于多模态融合特征的微小缺陷检测方法,包括以下步骤:
3、同步采集目标对象的可见光图像和红外图像,并获取此次图像采集时的太阳辐射强度;收集目标对象在历史运行期间的环境参数;
4、通过可见光图像中像素点的位置分布特征以评估像素点靠近目标对象边界的程度,计算各像素点的易损风险值;基于历史运行期间的环境参数,评估目标对象因环境侵蚀产生的物理风化累积效应以量化目标对象的外部损伤倾向值,结合易损风险值,得到可见光图像中各像素点的模态置信度;
5、基于环境参数分析目标对象因热循环载荷导致的内部结构疲劳程度,以度量目标对象的内部损伤倾向值;基于此次图像采集时的太阳辐射强度,评估当前光热激发条件下红外图像对隐蔽缺陷的表征能力,得到红外图像的成像可靠度,结合内部损伤倾向值,得到红外图像中各像素点的模态置信度;
6、基于可见光图像以及红外图像中像素点的模态置信度,确定像素点的可见光特征融合权重和红外特征融合权重,并对从可见光图像以及红外图像中分别提取的特征图进行融合,获取多模态融合特征图,并利用神经网络模型,对目标对象进行缺陷检测与识别。
7、优选的,所述环境参数包括日平均风速、日温差以及每日的天气类型。
8、优选的,所述计算各像素点的易损风险值,包括:
9、提取可见光图像中目标对象所在的局部区域,将该局部区域的最小外接矩形的中点作为区域中心;计算局部区域内各像素点到区域中心的像素距离;
10、获取世界坐标系下目标对象所属设备的真实旋转中心,将其投影至像素坐标系上,获取其在可见光图像上的投影位置,作为设备旋转中心;计算局部区域内各像素点到设备旋转中心的像素距离;将上述两个像素距离的均值,作为各像素点的易损风险值。
11、优选的,所述量化目标对象的外部损伤倾向值,包括:在历史运行期间,依据天气类型预先为每日预设一个标签值;对日平均风速进行归一化处理后,将其与该标签值的积值,作为单日风化系数;对历史运行期间内所有天数的单日风化系数求均值,作为目标对象的外部损伤倾向值。
12、优选的,所述可见光图像中各像素点的模态置信度与易损风险值以及外部损伤倾向值均呈正相关关系。
13、优选的,所述内部损伤倾向值的计算过程为:计算日温差与预设的复合材料基准温差阈值之间的比值,作为单日热疲劳系数;对历史运行期间内所有天数的单日热疲劳系数进行累加,作为目标对象的内部损伤倾向值。
14、优选的,所述得到红外图像的成像可靠度,包括:
15、收集目标对象在不同太阳辐射强度下所采集的历史红外图像,并对历史红外图像中的真实缺陷进行标注,组成先验数据库;利用显著性分析算法对历史红外图像进行显著性分析,得到对应的显著性图像;提取显著性图像中的所有连通域,定义为候选缺陷区域;将历史红外图像中经标注后的真实缺陷所在区域,定义为真实缺陷区域;
16、对候选缺陷区域与真实缺陷区域进行匹配,获取各候选缺陷区域与其对应匹配的真实缺陷区域之间的匹配度,将历史红外图像中所有匹配度的和值,作为该历史红外图像的检测可信系数;
17、将地表接收到的太阳辐射强度的监测范围划分为多个辐射区间,对于此次红外图像采集时的太阳辐射强度,依据其所属的辐射区间,从先验数据库中选取太阳辐射强度位于该辐射区间内的所有历史红外图像,对这些筛选出的历史红外图像的检测可信系数求均值,作为此次所采集的红外图像的成像可靠度。
18、优选的,所述红外图像中各像素点的模态置信度与内部损伤倾向值以及成像可靠度均呈正相关关系。
19、优选的,所述确定像素点的可见光特征融合权重和红外特征融合权重,包括:针对任一像素点,将其在可见光图像中对应的模态置信度与其在红外图像中对应的模态置信度的求和,将可见光图像中该像素点的模态置信度与该求和结果的比值作为该像素点的可见光特征融合权重,将红外图像中该像素点的模态置信度与该求和结果的比值作为该像素点的红外特征融合权重。
20、优选的,所述对从可见光图像以及红外图像中分别提取的特征图进行融合,获取多模态融合特征图,包括:
21、将所有像素点的可见光特征融合权重按照像素位置排列,构成二维的可见光空间权重矩阵;将所有像素点的红外特征融合权重按照像素位置排列,构成二维的红外空间权重矩阵;
22、将可见光图像与红外图像输入到预先训练好的神经网络模型中,分别提取可见光特征图与红外特征图;
23、对可见光空间权重矩阵以及红外空间权重矩阵进行平均池化操作,使其张量维度分别与可见光特征图和红外特征图对齐;并利用对齐后的可见光空间权重矩阵以及对齐后的红外空间权重矩阵,分别对可见光特征图与红外特征图进行空间加权,获取多模态融合特征图。
24、本技术至少具有如下有益效果:
25、本技术通过分析像素点靠近目标对象边界的程度,计算易损风险值,实现了对目标对象不同位置损伤敏感性的空间差异化刻画,能够识别出边界区域这一极易遭受外部颗粒撞击与气动磨损的高发地带;通过量化目标对象的外部损伤倾向值,实现了对目标对象表面因长期环境风化作用导致的物理退化累积程度的全局度量,以反映目标对象整体所经历的外部损伤风险水平,弥补了纯视觉特征无法评估历史物理风化累积损伤的缺陷,为后续合理提升可见光特征的权重提供了全局时间维度的环境先验依据;通过综合目标对象的空间几何易损先验与历史物理风化累积效应,得到可见光图像中各像素点的模态置信度,能够自适应量化各像素点在可见光模态下的缺陷表征价值,避免了在不易发生外部缺陷的区域盲目过度提取可见光特征,显著增强了极细微表面裂纹和划痕的定位与检出能力;内部损伤倾向值还原了材料因长期交变温差导致内部分层或脱粘的热力学退化机理,能够从全局疲劳寿命维度预判隐蔽缺陷的发生概率,使得在内部损伤高风险状态下,红外模态能够获得更高的权重,从而将检测注意力主动聚焦于隐蔽性内部缺陷;其次,成像可靠度精准量化了当前太阳辐射光热激发条件对内部隐蔽缺陷热显影质量的决定性影响,确保红外模态仅在具备有效检测能力的条件下获得高融合权重,避免在光热激发不足时引入噪声干扰;红外图像中各像素点的模态置信度深度融合了材料内部热疲劳机理与实时热表征物理质量,确保在目标对象内部结构损伤概率高且当前红外显影条件极佳时,才赋予红外特征更高的信任度,极大降低了红外模态的误检率;得到可见光特征融合权重和红外特征融合权重,使神经网络彻底摆脱了对静态融合权重的依赖,能够根据像素点的物理损伤风险水平与显影条件自适应聚焦最有效的模态信息,使得多模态融合特征图能够精准突显易损区域的极细微表面裂纹特征以及有效光热激发下的内部隐蔽脱粘特征,提高了多模态特征对复杂工况下微小缺陷的联合表征能力,进而显著提升了神经网络模型对微小缺陷检测的准确性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com