一种图像分割网络训练方法及相关设备
本申请涉及计算机视觉、自然语言处理及多模态模型交叉领域,尤其涉及一种图像分割网络训练方法及相关设备。
背景技术:
1、在当前的指代分割任务中,模型需要根据自然语言描述精准理解任意上下文长度并在图像中分割出目标对象。现有的视觉主干网络在提取密集特征时,普遍存在严重的特征伪影与异常高响应区域分布问题。其根本原因在于,在缺乏细粒度像素级标注且具备全局注意力机制的情况下,模型倾向于采取一种特征过度聚合的捷径:利用与目标无关但分布广泛的背景区域特征来编码全局语义,导致前景信息不可控地向背景区域扩散。现有的评估指标往往只能粗粒度地判断特征最高响应点是否落在目标的粗略边界框内,无法准确衡量复杂多边形掩码内部的细粒度对齐程度。同时,在处理未对齐的主干网络时,现有方法往往仅在解码器末端进行粗暴干预,未能在特征提取阶段有效打断这种系统性的背景偏置。由于缺乏针对视觉主干网络输出态势的细粒度量化指标和显式约束,模型在训练初期极易被背景高频噪点误导,造成严重的跨模态对齐困难与性能瓶颈。
技术实现思路
1、本申请实施例的主要目的在于提出一种基于双层统计约束辅助损失的图像分割网络训练方法、电子设备、存储介质及程序产品,旨在解决现有指代分割及图像分割任务中视觉主干网络存在的特征过度聚合与背景偏置问题。
2、为实现上述目的,本申请实施例的一方面提出了一种图像分割网络训练方法,所述方法包括:
3、获取输入图像,通过视觉主干网络提取所述输入图像的视觉块特征和全局特征;
4、获取所述输入图像对应的真实分割掩码,并将所述真实分割掩码下采样至网格级别,划分出前景区域集合与背景区域集合;
5、基于所述前景区域集合中视觉块特征的响应分布与所述背景区域集合中视觉块特征的响应分布,构建双层辅助损失;所述双层辅助损失包括一阶统计约束项和极值统计约束项,所述一阶统计约束项用于约束所述前景区域集合与所述背景区域集合之间整体响应均值的差值,所述极值统计约束项用于约束所述前景区域集合与所述背景区域集合之间局部极值响应均值的差值;
6、将所述双层辅助损失与主分割损失进行融合,构建总损失函数,利用所述总损失函数对所述视觉主干网络进行训练,以校准所述视觉主干网络的特征输出分布。
7、在一些实施例中,在构建所述双层辅助损失之前,所述方法还包括生成态势得分矩阵的步骤,所述生成态势得分矩阵的步骤包括:
8、设定第个图像样本包含的第个视觉块特征为,,对应的全局特征为;
9、通过余弦相似度计算每个视觉块与全局特征的关联度,并引入温度超参数进行平滑调节,计算每个视觉块的语义得分;
10、由所有视觉块的语义得分构成态势得分矩阵,所述态势得分矩阵用于表征全局语义的空间分布态势。
11、在一些实施例中,所述方法还包括对所述视觉主干网络输出的特征态势进行细粒度量化评估的步骤,所述对所述视觉主干网络输出的特征态势进行细粒度量化评估的步骤包括:
12、基于所述态势得分矩阵以及所述前景区域集合与背景区域集合,计算空间精确匹配约束指标和全局响应分布约束指标;
13、所述空间精确匹配约束指标包括中心点命中率和覆盖率命中率;
14、所述全局响应分布约束指标为平均最大局部得分。
15、在一些实施例中,所述中心点命中率的计算方式为:获取样本态势得分矩阵中得分最高的极值点索引,将所述极值点索引映射回原图像的中心点坐标,若该坐标落在所述真实分割掩码的前景区域内则判定为命中;所述中心点命中率即为所有样本命中率的平均值;
16、所述覆盖率命中率的计算方式为:计算所述极值点对应区域内的前景像素占比,设定覆盖率阈值;所述覆盖率命中率即为所有样本中的样本占比;
17、所述平均最大局部得分的计算方式为:计算每个样本的最大局部响应峰值,所述平均最大局部得分即为所有样本最大局部响应峰值的平均值。
18、在一些实施例中,所述一阶统计约束项为均值间隔约束项,所述均值间隔约束项的构建方式为:
19、分别计算前景区域集合的整体语义得分均值和背景区域集合的整体语义得分均值:
20、
21、
22、基于所述前景均值与背景均值之差与预设的均值间隔安全阈值,计算单样本均值损失:
23、。
24、
25、在一些实施例中,所述极值统计约束项为峰值间隔约束项,实施峰值间隔约束项的构建方式为:
26、分别提取前景区域集合中语义得分最高的前个得分的平均值,以及背景区域集合中语义得分最高的前个得分的平均值:
27、
28、
29、基于所述前景高频响应均值与背景高频响应均值之差与预设的峰值间隔安全阈值,计算单样本峰值损失:
30、。
31、
32、在一些实施例中,所述双层辅助损失的计算方式为:
33、
34、其中,为峰值惩罚权重,为样本总数,为单样本均值损失,为单样本峰值损失;
35、所述总损失函数的计算方式为:
36、
37、其中,为主分割损失,为辅助损失介入强度系数。
38、在一些实施例中,当所述态势得分矩阵判定背景区域存在超过预设阈值的局部伪峰值时,所述峰值惩罚权重和/或所述辅助损失介入强度系数被配置为放大,以增强所述双层辅助损失对所述视觉主干网络的梯度干预强度。
39、在一些实施例中,所述方法仅在所述视觉主干网络的训练阶段执行,在推理阶段所述双层辅助损失被移除,所述视觉主干网络的推理结构和推理参数保持不变。
40、为实现上述目的,本申请实施例的另一方面提出了一种电子设备,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上所述的方法。
41、为实现上述目的,本申请实施例的另一方面提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上所述的方法。
42、为实现上述目的,本申请实施例的另一方面提出了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上所述的方法。
43、本申请实施例至少包括以下有益效果:本申请提供一种图像分割网络训练方法、电子设备、存储介质及程序产品,该方案通过构建包含一阶统计约束项和极值统计约束项的双层辅助损失,分别从全局分布层面约束前景区域与背景区域之间整体响应均值的差值、以及从局部极值层面约束二者之间峰值响应均值的差值,使得视觉主干网络在训练过程中受到“全局水位压制”与“局部尖峰抑制”的双重协同约束,从而在特征提取阶段即系统性打断前景语义向背景扩散的捷径并精准削平背景孤立噪点,最终以不修改推理阶段任何网络结构的即插即用方式显著提升分割精度与跨模态特征对齐稳定性。
1.一种图像分割网络训练方法,其特征在于,所述方法包括以下步骤:
2.根据权利要求1所述的方法,其特征在于,在构建所述双层辅助损失之前,所述方法还包括生成态势得分矩阵的步骤,所述生成态势得分矩阵的步骤包括:
3.根据权利要求1所述的方法,其特征在于,所述方法还包括对所述视觉主干网络输出的特征态势进行细粒度量化评估的步骤,所述对所述视觉主干网络输出的特征态势进行细粒度量化评估的步骤包括:
4.根据权利要求3所述的方法,其特征在于,所述中心点命中率的计算方式为:获取样本态势得分矩阵中得分最高的极值点索引,将所述极值点索引映射回原图像的中心点坐标,若该坐标落在所述真实分割掩码的前景区域内则判定为命中;所述中心点命中率即为所有样本命中率的平均值;
5.根据权利要求1所述的方法,其特征在于,所述一阶统计约束项为均值间隔约束项,所述均值间隔约束项的构建方式为:
6.根据权利要求1所述的方法,其特征在于,所述极值统计约束项为峰值间隔约束项,实施峰值间隔约束项的构建方式为:
7.根据权利要求1所述的方法,其特征在于,所述双层辅助损失的计算方式为:
8.根据权利要求7所述的方法,其特征在于,当所述态势得分矩阵判定背景区域存在超过预设阈值的局部伪峰值时,所述峰值惩罚权重和/或所述辅助损失介入强度系数被配置为放大,以增强所述双层辅助损失对所述视觉主干网络的梯度干预强度。
9.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1至8任一项所述的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com