一种联立图像增强与分割的水下网衣破损识别方法及系统与流程
本发明涉及图像分割识别,尤其涉及一种联立图像增强与分割的水下网衣破损识别方法及系统。
背景技术:
1、海洋牧场建设与深远海网箱养殖产业的网箱网衣长期处于复杂水下环境中,受海流冲刷、养殖生物碰撞、海洋附着物负载、材料老化和日常运维扰动等多重因素作用,极易出现破洞、撕裂、断丝、网孔变形和局部脱扣等各类破损问题,而水下网衣破损若未能及时发现与修复,不仅会造成养殖生物逃逸和外来物种入侵等损失,还可能引发养殖设施结构失效等安全风险。因此,如何准确可靠地对水下网衣进行破损识别成为目前有待研究的技术问题。
2、目前,现有技术主要采用图像增强与图像分割串联式技术方案,先通过白平衡、直方图均衡和深度学习增强网络等水下图像增强算法改善图像视觉质量,再将增强后的图像输入目标检测或图像分割网络完成破损区域识别;然而现有技术的方案通常以人眼视觉质量或通用图像质量指标为优化目标,与下游破损分割任务的优化目标存在明显偏差,增强与分割环节相互独立且缺乏任务反馈机制,增强过程无法根据分割识别结果自适应调整方向。可见,现有技术在复杂水下环境中图像增强任务与图像分割任务目标不一致,存在水下网衣破损识别结果可靠性差的问题。
技术实现思路
1、本发明提出了一种联立图像增强与分割的水下网衣破损识别方法及系统,能够解决现有技术在复杂水下环境中图像增强任务与图像分割任务目标不一致而导致存在水下网衣破损识别结果可靠性差的问题。本发明实现通过构建任务驱动的高频增强机制与联立训练框架,使图像增强过程直接受破损分割任务引导约束,提高水下网衣破损识别结果的可靠性。
2、为实现上述目的,本发明实施例提供了一种联立图像增强与分割的水下网衣破损识别方法,包括:执行图像增强任务:预处理预采集的水下网衣图像得到预处理水下网衣图像,并对所述预处理水下网衣图像进行特征编码,得到共享网衣结构特征;基于预设频带分解算法对所述共享网衣结构特征进行分解,得到低频网衣结构特征和高频破损细节特征;根据所述共享网衣结构特征生成粗破损概率图和粗破损边界图,基于所述粗破损概率图和粗破损边界图生成空间调制参数,并根据所述空间调制参数对所述高频破损细节特征进行空间仿射调制,得到任务引导高频特征;将所述任务引导高频特征与所述低频网衣结构特征进行重组,得到初始重组特征,并通过所述粗破损边界图对所述初始重组特征进行边界融合,得到初始任务增强图像,结束图像增强任务;根据预获取的若干历史图像、所述预处理水下网衣图像和所述初始任务增强图像构建目标损失函数,基于所述目标损失函数更新预设初始破损分割模型,得到目标破损分割模型,将所述目标损失函数作为引导约束令所述图像增强任务输出目标任务增强图像;执行图像分割任务:通过所述目标破损分割模型对所述目标任务增强图像进行破损分割,输出破损目标框、破损区域掩膜、破损类别和破损置信度以对水下网衣进行破损识别。
3、本发明实施例提出一种联立图像增强与分割的水下网衣破损识别方法,对预处理水下网衣图像提取共享网衣结构特征并执行频带分解,根据共享特征生成粗破损概率图与边界图引导高频空间调制,经特征重组与边界融合得到初始任务增强图像,再通过构建目标损失函数联合优化分割模型与增强任务,使增强过程受分割任务引导约束,已完成水下网衣破损识别。由此,针对现有技术增强任务与分割任务目标不一致的问题,将图像增强任务与图像分割任务进行联立设计,构建任务驱动的高频增强机制与联立训练框架,使图像增强任务不再单纯追求视觉质量,而是通过分割任务引导约束优先恢复有利于破损识别的网孔结构、断丝边缘、破洞边界、撕裂纹理和网孔不连续区域,提高水下网衣破损识别结果的可靠性。
4、进一步的,所述预处理预采集的水下网衣图像得到预处理水下网衣图像,并对所述预处理水下网衣图像进行特征编码,得到共享网衣结构特征,包括:采集水下网衣图像,并对所述水下网衣图像执行尺寸归一化与像素归一化处理,得到格式归一化图像;统计格式归一化图像各颜色通道的统计特征,生成对应颜色通道增益并执行颜色归一化处理,得到颜色归一化图像,将格式归一化图像和颜色归一化图像整合为预处理水下网衣图像;对所述预处理水下网衣图像中的所述格式归一化图像和所述颜色归一化图像进行通道维度拼接,并输入预设特征编码网络执行多层卷积提取操作,得到共享网衣结构特征。
5、在上述方案中,对水下网衣图像进行尺寸归一化与像素归一化处理,并结合颜色归一化处理降低水下偏色对后续破损识别的影响,再将格式归一化图像与颜色归一化图像在通道维度拼接后输入特征编码网络,使特征编码网络能够同时获取原始结构信息和颜色校正信息。由此,通过双通道输入同时保留原始图像信息与颜色校正信息,再经由多层卷积网络提取共享网衣结构特征,为后续频带分解与粗破损检测提供稳定可靠的特征基础,有助于提高水下网衣破损识别结果的可靠性。
6、进一步的,所述基于预设频带分解算法对所述共享网衣结构特征进行分解,得到低频网衣结构特征和高频破损细节特征,包括:基于预设频带分解算法,对共享网衣结构特征执行多尺度频带分解操作,得到低频分量与多方向高频分量;将低频分量整合为低频网衣结构特征,将多方向高频分量整合为高频破损细节特征。
7、在上述方案中,采用预设频带分解算法将共享网衣结构特征分离为低频分量与多方向高频分量,进而整合得到低频网衣结构特征与高频破损细节特征。由此,将承载网衣整体轮廓、网孔排列和大尺度亮度信息的低频分量,以及承载边缘、纹理和局部突变信息的多方向高频分量进行分离,使得后续增强操作可仅针对高频细节分量进行任务导向调制,在不破坏网衣整体拓扑结构的前提下完成破损细节增强,进而提高水下网衣破损识别结果的可靠性。
8、进一步的,根据所述共享网衣结构特征生成粗破损概率图和粗破损边界图,基于所述粗破损概率图和粗破损边界图生成空间调制参数,并根据所述空间调制参数对所述高频破损细节特征进行空间仿射调制,得到任务引导高频特征,包括:通过预设卷积网络对所述共享网衣结构特征执行卷积映射与激活处理,生成粗破损概率图;对粗破损概率图执行空间梯度计算与归一化处理,得到粗破损边界图;将粗破损概率图和粗破损边界图调整至与高频破损细节特征相匹配的空间尺寸,并对调整后的粗破损概率图和调整后的粗破损边界图进行通道拼接,生成空间缩放参数、空间偏移参数和空间门控权重;利用空间门控权重、空间缩放参数和空间偏移参数对高频破损细节特征执行逐元素空间仿射调制,得到高频增强残差;将所述高频增强残差与所述高频破损细节特征进行叠加,得到任务引导高频特征。
9、在上述方案中,根据共享网衣结构特征生成粗破损概率图与粗破损边界图,以此生成空间缩放参数、空间偏移参数和空间门控权重对高频破损细节特征执行逐元素空间仿射调制并叠加得到任务引导高频特征。由此,利用粗破损概率与粗破损边界图提供疑似破损区域的空间先验,使增强强度随破损概率与边界响应动态调整,既能够通过空间缩放参数强化疑似破损区域的高频响应和通过空间偏移参数补偿低对比度弱边界特征,又能够通过空间门控权重抑制背景水体、悬浮颗粒和普通网孔边缘的无关高频信号,有助于提高水下网衣破损识别结果的可靠性。
10、进一步的,将所述任务引导高频特征与所述低频网衣结构特征进行重组,得到初始重组特征,并通过所述粗破损边界图对所述初始重组特征进行边界融合,得到初始任务增强图像,结束图像增强任务,包括:将所述任务引导高频特征拆分为高频子带,对所述高频子带和所述低频网衣结构特征进行重组,得到初始重组特征;通过所述粗破损边界图对所述初始重组特征进行边界融合,得到边界融合权重;基于预设边界生成网络,根据所述任务引导高频特征和所述粗破损边界图生成边界残差;根据所述边界残差、所述边界融合权重和所述初始重组特征生成边界增强任务特征;将所述边界增强任务特征输入预设图像重建解码器,得到初始任务增强图像。
11、在上述方案中,将任务引导高频特征拆分后与低频结构特征重组得到初始重组特征,结合粗破损边界图生成边界融合权重与边界残差,叠加边界残差、边界融合权重和初始重组特征后得到边界增强任务特征,再通过解码重建初始任务增强图像。由此,通过拆分重组恢复网衣的完整空间结构,借助边界融合权重将边界增强残差限制在疑似破损边界邻域内,既针对性强化破洞边缘和断丝端点等分割关键线索,又避免普通网孔边缘被过度增强,配合残差式重建方式还可降低颜色漂移与结构畸变风险,使输出的增强图像更贴合破损分割任务的实际需求,有助于提高水下网衣破损识别结果的可靠性。
12、进一步的,根据预获取的若干历史图像、所述预处理水下网衣图像和所述初始任务增强图像构建目标损失函数;基于所述目标损失函数更新预设初始破损分割模型,得到目标破损分割模型;将所述目标损失函数作为引导约束令所述图像增强任务输出目标任务增强图像,包括:基于所述预获取的若干历史图像、所述预处理水下网衣图像和所述初始任务增强图像,构建增强损失项、破损分割损失项、破损边界保持损失项和高频破损一致性损失项;对所述增强损失项、所述破损分割损失项、所述破损边界保持损失项和所述高频破损一致性损失项进行加权求和,得到目标损失函数;将预获取的若干历史图像作为训练数据集对所述目标损失函数进行梯度更新直至满足预设训练终止条件,得到目标破损分割模型;将梯度更新终止后的所述目标损失函数反向传递至所述图像增强任务中,以引导约束所述图像增强任务输出目标任务增强图像。
13、在上述方案中,构建包括增强稳定损失项、破损分割损失项、破损边界保持损失项和高频破损一致性损失项的联合目标损失函数,利用历史图像作为训练数据同步更新破损分割模型,通过梯度反向传递实现分割任务对图像增强任务的引导约束,以输出目标任务增强图像。由此,从结构稳定、分割精度、边界匹配和高频合理性多个维度构建约束,训练过程中分割任务的梯度可反向传递至图像增强任务,驱动图像增强任务自主学习对分割任务更有利的增强模式,即通过分割任务引导约束优先恢复有利于破损识别的网孔结构、断丝边缘、破洞边界、撕裂纹理和网孔不连续区域,提高水下网衣破损识别结果的可靠性。
14、进一步的,通过所述目标破损分割模型对所述目标任务增强图像进行破损分割,输出破损目标框、破损区域掩膜、破损类别和破损置信度以对水下网衣进行破损识别,包括:将所述目标任务增强图像输入所述目标破损分割模型中进行多尺度特征提取处理,生成若干候选破损目标及各候选破损目标对应的破损目标框回归结果、破损类别预测结果和破损掩膜预测结果;基于所述破损掩膜预测结果和所述目标破损分割模型生成掩膜原型和掩膜系数,并根据所述掩膜原型和掩膜系数生成各候选破损目标对应的破损区域掩膜预测结果;基于各候选破损目标对应的所述破损类别预测结果计算各候选破损目标对应的预测得分,并通过预设置信度阈值筛选预测得分满足预设置信度要求的候选破损目标,得到满足预设置信度要求的各候选破损目标对应的破损置信度预测结果;剔除不满足预设置信度要求的候选破损目标,将剩余的所述各候选破损目标对应的破损目标框回归结果、破损类别预测结果、破损区域掩膜预测结果和破损置信度预测结果输出为破损目标框、破损区域掩膜、破损类别和破损置信度,以对水下网衣进行破损识别。
15、在上述方案中,将目标任务增强图像输入分割模型执行多尺度特征提取,生成候选破损目标对应的破损目标框回归、破损类别与破损掩膜预测结果,根据目标破损分割模型生成掩膜原型与掩膜系数,以得到像素级破损区域掩膜,再计算各候选破损目标对应的预测得分,经置信度阈值筛选候选破损目标后输出最终破损识别结果。由此,通过多尺度特征提取适配不同尺寸破损目标,采用掩膜原型与掩膜系数的生成方式保障破损区域掩膜精度,再结合置信度筛选剔除低质量候选破损目标,同步输出准确的破损位置、破损类别与破损掩膜信息,提高水下网衣破损识别结果的可靠性。
16、本发明实施例还提供一种联立图像增强与分割的水下网衣破损识别系统,包括图像增强任务执行模块、联立训练模块和图像分割任务执行模块;其中:所述图像增强任务执行模块用于执行图像增强任务:预处理预采集的水下网衣图像得到预处理水下网衣图像,并对所述预处理水下网衣图像进行特征编码,得到共享网衣结构特征;基于预设频带分解算法对所述共享网衣结构特征进行分解,得到低频网衣结构特征和高频破损细节特征;根据所述共享网衣结构特征生成粗破损概率图和粗破损边界图,基于所述粗破损概率图和粗破损边界图生成空间调制参数,并根据所述空间调制参数对所述高频破损细节特征进行空间仿射调制,得到任务引导高频特征;将所述任务引导高频特征与所述低频网衣结构特征进行重组,得到初始重组特征,并通过所述粗破损边界图对所述初始重组特征进行边界融合,得到初始任务增强图像,结束图像增强任务;所述联立训练模块用于根据预获取的若干历史图像、所述预处理水下网衣图像和所述初始任务增强图像构建目标损失函数,基于所述目标损失函数更新预设初始破损分割模型,得到目标破损分割模型,将所述目标损失函数作为引导约束令所述图像增强任务输出目标任务增强图像;所述图像分割任务执行模块用于执行图像分割任务:通过所述目标破损分割模型对所述目标任务增强图像进行破损分割,输出破损目标框、破损区域掩膜、破损类别和破损置信度以对水下网衣进行破损识别。
17、本发明实施例提出一种联立图像增强与分割的水下网衣破损识别系统,对预处理水下网衣图像提取共享网衣结构特征并执行频带分解,根据共享特征生成粗破损概率图与边界图引导高频空间调制,经特征重组与边界融合得到初始任务增强图像,再通过构建目标损失函数联合优化分割模型与增强任务,使增强过程受分割任务引导约束,已完成水下网衣破损识别。由此,针对现有技术增强任务与分割任务目标不一致的问题,将图像增强任务与图像分割任务进行联立设计,构建任务驱动的高频增强机制与联立训练框架,使图像增强任务不再单纯追求视觉质量,而是通过分割任务引导约束优先恢复有利于破损识别的网孔结构、断丝边缘、破洞边界、撕裂纹理和网孔不连续区域,提高水下网衣破损识别结果的可靠性。
18、进一步的,所述联立训练模块,包括损失项构建单元、目标损失函数构建单元、分割识别模块构建单元和引导约束单元;其中:所述损失项构建单元用于基于所述预获取的若干历史图像、所述预处理水下网衣图像和所述初始任务增强图像,构建增强损失项、破损分割损失项、破损边界保持损失项和高频破损一致性损失项;所述目标损失函数构建单元用于对所述增强损失项、所述破损分割损失项、所述破损边界保持损失项和所述高频破损一致性损失项进行加权求和,得到目标损失函数;所述分割识别模块构建单元用于将预获取的若干历史图像作为训练数据集对所述目标损失函数进行梯度更新直至满足预设训练终止条件,得到目标破损分割模型;所述引导约束单元用于将梯度更新终止后的所述目标损失函数反向传递至所述图像增强任务中,以引导约束所述图像增强任务输出目标任务增强图像。
19、进一步的,所述图像分割任务执行模块,包括特征提取处理单元、破损区域掩膜预测单元、破损置信度预测单元和破损识别单元;其中:所述特征提取处理单元用于将所述目标任务增强图像输入所述目标破损分割模型中进行多尺度特征提取处理,生成若干候选破损目标及各候选破损目标对应的破损目标框回归结果、破损类别预测结果和破损掩膜预测结果;所述破损区域掩膜预测单元用于基于所述破损掩膜预测结果和所述目标破损分割模型生成掩膜原型和掩膜系数,并根据所述掩膜原型和掩膜系数生成各候选破损目标对应的破损区域掩膜预测结果;所述破损置信度预测单元用于基于各候选破损目标对应的所述破损类别预测结果计算各候选破损目标对应的预测得分,并通过预设置信度阈值筛选预测得分满足预设置信度要求的候选破损目标,得到满足预设置信度要求的各候选破损目标对应的破损置信度预测结果;所述破损识别单元用于剔除不满足预设置信度要求的候选破损目标,将剩余的所述各候选破损目标对应的破损目标框回归结果、破损类别预测结果、破损区域掩膜预测结果和破损置信度预测结果输出为破损目标框、破损区域掩膜、破损类别和破损置信度,以对水下网衣进行破损识别。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com