一种基于显著性引导的弱监督语义分割方法

技术特征：
1.一种基于显著性引导的弱监督语义分割方法，其特征在于：包括以下步骤：步骤（a）、给定带有图像级弱标签的图像，训练一个分类网络，通过构建一个用以显示最小化类内特征方差的类别无关距离损失，对类内关系进行约束，扩大类别激活图中的目标对象区域；步骤（b）、构建一个类别特定距离损失，以最大化不同类间的特征差异，用以将目标对象区域和背景区域特征区分开，此时利用从注意力图导出的类别激活图定位目标对象区域，生成初始伪标签；步骤（c）、构建一个对象引导的标签精炼子方法，充分利用分割预测对初始伪标签再训练，进而通过分割模型生成进阶伪标签，用于弱监督语义分割网络训练。2.根据权利要求1所述的一种基于显著性引导的弱监督语义分割方法，其特征在于：步骤（a）、给定带有图像级弱标签的图像，训练一个分类网络，通过构建一个用以显示最小化类内特征方差的类别无关距离损失，对类内关系进行约束，扩大类别激活图中的目标对象区域，包括以下步骤：（a1）、对于只包含一类对象的简单图像，其类别无关的显著图可近似为其相应的目标对象掩码，故借助类别无关的显著图掩码，对特征应用掩码平均池化操作，提取类别原型向量，具体的，当注意力图f 上采样到与掩码m相同的大小后，按下式计算目标对象区域原型向量：其中，h是显著图的高度，w是显著图的宽度；（a2）、目标对象区域原型向量被采样到与注意力图相同的空间大小后，进行逐元素相减，以获得原型特征距离d，使用掩码平均池化操作为显著对象区域定义一个类别无关距离损失，并按下式计算类别无关距离损失：其中，h
′ꢀ
是注意力图的高度，w
′
是注意力图的宽度，c是注意力图的通道数；（a3）、将类别无关距离损失与反向显著图进行结合，按下式计算背景区域原型向量：其中，反向显著图；（a4）、背景原型向量被采样到与注意力图相同的空间大小后，进行逐元素相减，在获得背景特征距离后，按下式计算背景区域的类别无关距离损失：
。3.根据权利要求1所述的一种基于显著性引导的弱监督语义分割方法，其特征在于：步骤（b）、构建一个类别特定距离损失，以最大化不同类间的特征差异，用以将目标对象区域和背景区域特征区分开，此时利用从注意力图导出的类别激活图定位目标对象区域，生成初始伪标签，包括以下步骤：（b1）、在类别无关距离损失中获得目标对象区域和背景区域的类原型后，利用图像级标签定位与图像中存在的特定类别相关的通道，按下式计算类别特定的距离损失：其中，是目标对象区域原型向量，是背景区域原型向量；（b2）、基于显著性引导的类间和类内关系约束，按下式计算分类网络的总体训练损失：其中，是用于控制目标对象区域的类别无关距离损失的超参数，是用于控制背景区域的类别无关距离损失的超参数，是类别特定距离损失的超参数，是多标签软边际损失。4.根据权利要求1所述的一种基于显著性引导的弱监督语义分割方法，其特征在于：步骤（c）、构建一个对象引导的标签精炼子方法，充分利用分割预测对初始伪标签再训练，进而通过分割模型生成进阶伪标签，用于弱监督语义分割网络训练，包括以下步骤：（c1）、借助指示类别存在与否的图像级标签，过滤掉分割预测中不应该存在的目标对象区域，如下式所示：其中、是像素位置索引；（c2）、重新标记分割预测中与初始伪标签不一致的背景像素，如下式所示：；（c3）、进一步挖掘网络预测和初始标签中遗漏的目标对象区域，获得进阶伪标签用于弱监督语义分割网络训练，如下式所示：。

技术总结
本发明公开了一种基于显著性引导的弱监督语义分割方法，包括给定带有图像级弱标签的图像，通过训练一个分类网络，此时利用从注意力图导出的类别激活图定位目标对象区域，生成初始伪标签。本发明通过设计了一个类别无关距离损失，扩大类别激活图中激活的目标对象区域，同时设计了一个类别特定距离损失，使目标对象区域比背景区域具有更高的激活度，由此拉近类内特征和分离类间特征，使显著图在分类网络的训练过程中，可以扩展类别激活图中激活的目标对象区域，提取紧凑完整的目标对象区域；进一步的，通过构建一个对象引导的标签精炼子方法，充分利用分割预测对初始伪标签再训练，为弱监督语义分割网络训练提供了一个更高质量的进阶伪标签。量的进阶伪标签。量的进阶伪标签。


技术研发人员：陈涛 黄丹 孙泽人 姚亚洲
受保护的技术使用者：南京理工大学
技术研发日：2022.11.23
技术公布日：2022/12/30