基于混合专家模型与动态采样的混凝土损伤实例分割方法
本发明涉及图像处理,具体为基于混合专家模型与动态采样的混凝土损伤实例分割方法。
背景技术:
1、混凝土结构在长期服役过程中容易产生裂缝、剥落等表面损伤,利用深度学习技术对这些损伤进行自动化的视觉检测,是目前工程结构健康监测的重要手段。
2、在实际的工程图像中,混凝土表面的损伤通常具有明显不同的物理形态。裂缝通常表现为宽度较小且具有连贯走向的线状结构,而剥落多表现为跨度较大且边界不规则的面状区域。现有的图像实例分割模型在特征提取阶段普遍采用固定形状的卷积核,在复杂背景和多类别损伤联合分割任务中,固定采样模式难以充分适应不同损伤形态差异。。当混凝土表面存在模板纹理或光照不均等粗糙背景干扰时,固定卷积核容易导致提取出的裂缝特征出现断裂,或者使剥落区域的边界响应变得模糊。
3、此外,为了提取不同尺寸的损伤特征,分割模型通常需要构建颈部网络进行多尺度特征融合。在融合过程中,需要对深层的低分辨率特征图进行上采样操作,以匹配浅层特征图的空间尺寸。传统的上采样操作通常采用最近邻插值或双线性插值等固定算法,这些固定插值方法只能遵循均匀的空间映射规则,无法根据图像中损伤的具体走向或轮廓自适应地调整采样位置。当面临形态复杂的损伤边界时,这种刚性的采样方式会引起高层语义特征与底层空间细节之间的定位偏差,进而导致最终输出的实例分割掩膜边缘不够准确,无法紧密贴合真实的损伤轮廓。
技术实现思路
1、针对现有技术的不足,本发明提供了基于混合专家模型与动态采样的混凝土损伤实例分割方法,解决了现有混凝土损伤分割模型对线状裂缝与面状剥落等异构形态特征适应性不足,且固定插值上采样方法在多尺度融合时存在空间定位偏差,导致损伤边界分割不够准确的问题。
2、为实现以上目的,本发明通过以下技术方案予以实现:基于混合专家模型与动态采样的混凝土损伤实例分割方法,包括以下步骤:
3、获取待处理的混凝土表面图像,将混凝土表面图像输入主干网络模块进行多尺度特征提取,生成包含低分辨率特征图的层级特征图。
4、在多尺度特征提取过程中,利用主干网络模块内的混合专家模型单元对混凝土表面图像对应的输入特征分类别提取裂缝特征与剥落边界特征。
5、将层级特征图输入颈部网络模块,通过自顶向下融合路径与自底向上融合路径生成多尺度特征图和高分辨率原型掩膜矩阵。
6、在自顶向下融合路径中,通过动态采样单元根据低分辨率特征图的图像内容预测采样偏移数据。
7、将采样偏移数据叠加至初始的规则采样网格位置生成动态采样坐标,并基于动态采样坐标在低分辨率特征图上执行特征采样,生成高分辨率特征图并用于同层级的特征拼接。
8、将多尺度特征图输入预测头模块解码,输出混凝土表面图像中各损伤目标的类别属性、边界框坐标和实例分割掩膜。
9、在多尺度特征提取过程中,在主干网络模块的浅层特征提取阶段、中层特征提取阶段和小目标检测分支前置区域内布置混合专家模型单元,将主干网络模块内的数据流划分为多个并行分支执行分类别的特征计算。
10、在分类别提取特征时,利用重参数化卷积专家从输入特征中提取基础纹理特征。基于并行的动态蛇形卷积专家与可变形卷积专家,分别提取混凝土表面图像内部的裂缝连续细节与剥落边缘特征。利用全局注意力机制充当路由模块,根据输入特征的空间分布动态调节动态蛇形卷积专家与可变形卷积专家的特征响应强度,输出动态专家组合特征。通过空间注意力门控机制对基础纹理特征与动态专家组合特征执行双向残差门控补偿,输出完整反映损伤形态的目标特征图作为裂缝特征与剥落边界特征。
11、在提取损伤形态特征时,利用动态蛇形卷积专家在标准网格基础上预测各采样点的空间偏移量,对相邻采样点的偏移坐标施加累加限制作为连续性约束规则,提取反映裂缝走向的连续线状特征。利用可变形卷积专家将输入特征沿通道维度划分为多个独立的特征组,基于局部图像内容预测二维坐标偏移与特征调节系数,将各个特征组内分配的局部采样点通过网络训练所得的权重参数进行加权求和。
12、路由模块接收动态蛇形卷积专家与可变形卷积专家的输出特征并将输出特征堆叠。采用多层感知机网络对输出特征堆叠后形成的特征张量执行通道维度、高度维度与宽度维度的三维置换与交互运算,提取特征张量对应的特征图各个空间坐标在不同通道上的能量分布规律,生成自适应空间注意力权重。基于自适应空间注意力权重,路由模块对包含细长几何响应的区域放大动态蛇形卷积专家的特征权重,同时对包含粗糙不规则边界的区域强化可变形卷积专家的特征权重,加权输出动态专家组合特征。
13、在双向残差门控补偿过程中,对基础纹理特征和动态专家组合特征依次执行基于1×1卷积的通道降维映射与批归一化平滑操作,并基于平滑操作后生成的特征矩阵生成表征空间响应置信度的权重分布,得到针对基础纹理特征生成的门控权重矩阵和从动态专家组合特征中提取补偿信息的互补权重。使包含从动态专家组合特征中提取补偿信息的互补权重自动趋向高位,引导网络自适应地从动态专家组合特征中引入边界形态信息作为补充生成第一路增强特征。利用残差注意单元生成针对动态专家组合特征的第二路增强特征。将第一路增强特征与第二路增强特征在通道维度进行级联拼接,经过3×3卷积降维后输出完整反映损伤形态的目标特征图作为裂缝特征与剥落边界特征。
14、在预测采样偏移数据时,在通道维度上将低分辨率特征图均分为若干独立的特征组。利用线性映射网络读取各个特征组的张量信息,提取与当前局部空间结构相匹配的初始偏移响应。引入动态范围因子结合用于将输入平滑映射至有界的归一化区间的非线性激活函数对初始偏移响应的数值幅度进行约束,输出各个特征组对应的动态采样偏移数据矩阵作为采样偏移数据。
15、在执行特征采样时,生成覆盖整个空间维度的初始规则网格坐标矩阵作为初始的规则采样网格位置。将动态采样偏移数据矩阵与初始规则网格坐标矩阵执行矩阵加法操作,生成内部包含浮点型原始映射坐标的动态采样坐标矩阵作为动态采样坐标。调用网格采样算子执行特征值获取操作,基于动态采样坐标矩阵从低分辨率特征图中提取并聚合对应的特征响应值,输出高分辨率特征图并用于同层级的特征拼接。
16、在预测头模块解码时,输出混凝土表面图像中各损伤目标的类别属性、边界框坐标和实例分割掩膜,包括:在预测头模块内部设置解耦的分类分支、边界框回归分支与掩膜系数预测分支。对接收到的多尺度特征图包含的各层级融合特征图进行并行的张量解析与解码计算。分类分支输出各候选损伤目标对应的类别置信度得分。边界框回归分支输出各候选损伤目标对应的边界框坐标。掩膜系数预测分支输出各候选损伤目标对应的掩膜系数向量。
17、在输出最终结果时,基于置信度得分、边界框坐标和掩膜系数向量,输出混凝土表面图像中各损伤目标的类别属性、位置边界框坐标和实例分割掩膜,包括:将掩膜系数预测分支输出的掩膜系数向量与执行多尺度特征融合的颈部网络模块提供的高分辨率原型掩膜矩阵执行线性矩阵相乘操作,利用用于将输入平滑映射至有界的归一化区间的非线性激活函数对相乘结果进行处理,输出实例分割掩膜矩阵作为实例分割掩膜。预设置信度判定阈值,过滤响应强度低于置信度判定阈值的冗余预测。引入非极大值抑制算法,基于边界框坐标对应的预测框之间的交并比与置信度得分进行加权剔除,输出损伤目标的类别属性与边界框坐标。
18、本发明提供了基于混合专家模型与动态采样的混凝土损伤实例分割方法。具备以下有益效果:
19、1、本发明利用混合专家模型单元,通过动态蛇形卷积结合连续性约束规则提取线状裂缝特征,通过可变形卷积提取不规则的面状剥落特征,并辅以重参数化卷积过滤背景噪声,该特征提取路径能够根据不同空间区域的特征响应,动态调节各专家分支在融合特征中的贡献,有效降低了粗糙背景模板的干扰,提高了异构损伤特征的提取能力。
20、2、本发明采用空间注意力门控机制,对基础纹理特征与动态专家组合特征进行双向残差补偿,利用通道降维与归一化生成的门控权重矩阵,计算出互补权重,引导网络在信噪比较低的区域自动从另一路特征中引入边界形态信息作为补充,该机制改善了由于局部阴影或低对比度引起的特征断点问题,使最终输出的目标特征图更为完整。
21、3、本发明在颈部网络的自顶向下融合路径中引入动态采样机制,根据低分辨率特征图预测采样偏移数据,将其叠加至初始规则网格坐标后执行重采样,此操作改变了传统固定插值算法的映射规则,使得重采样位置能够直接贴近真实的损伤轮廓边界,从而减小了层级特征融合过程中的空间对齐偏差,提高了实例分割掩膜与实际损伤边缘的贴合度。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com