使用差异对比学习网络的半监督目标视频分割方法及系统与流程

技术特征：
1.使用差异对比学习网络的半监督目标视频分割方法，其特征在于，包括：第1步：将尺寸为h
×
w的初始视频帧输入骨干网络，得到特征通道数为c的通用视觉特征，然后经过边缘增强卷积处理，得到细节纹理更加清晰的视觉特征将所述视觉特征与分割结果分别相乘并进行尺寸调整得到目标特征和背景特征第2步：提取所述目标特征的全局映射特征第3步：将所述全局映射特征与所述目标特征进行像素级的相似度对比，获取c个通道，尺寸为m
×
n的相似度响应图；第4步：将所述全局映射特征与所述背景特征进行像素级的相似度对比，获取c个通道，尺寸为m
×
n的差异度响应图；第5步：将所述全局映射特征与所述视觉特征进行像素对比，并结合参考帧分割结果，通过卷积的方式，依据全局映射特征与背景特征之间的区分性、与目标之间的相似性，将目标、背景在像素级别区分开，得到目标区域和背景区域第6步：将卷积层参数共享，重复第1步，输入尺寸为h
×
w的后续视频帧通过骨干网络和边缘增强卷积处理，得到视觉特征第7步：将初始帧的全局映射特征与后续帧的视觉特征作为基础，结合参考帧分割结果重复第五步，输出后续帧的分割结果；第8步：重复第6
‑
7步，直到完成整段视频的目标分割任务。2.根据权利要求1所述使用差异对比学习网络的半监督目标视频分割方法，其特征在于，将视觉特征与分割结果分别相乘并进行尺寸调整得到目标特征和背景特征公式为：公式为：3.根据权利要求1所述使用差异对比学习网络的半监督目标视频分割方法，其特征在于，提取所述目标特征的全局映射特征包括全局平均池化和全连接层两部分，分别是：(1)首先对所述目标特征采用j3×
3,c
的卷积核进行全局平均池化处理，输出c维特征向量公式为：
其中，h
average
(x,j
k
×
k,c
,s,p)为平均池化函数，为卷积操作，使用步长s为1，卷积核尺寸k＝3的卷积核依次对c个特征通道的像素特征进行池化操作，直到输出c维特征向量(2)将经过全局平均池化处理的c维特征向量输入全连接层，得到全局映射特征公式为：其中，μ为映射系数，η为修正量。4.根据权利要求1所述使用差异对比学习网络的半监督目标视频分割方法，其特征在于，获取c个通道，尺寸为m
×
n的相似度响应图，公式为：n的相似度响应图，公式为：其中，i＝1,2,...m,j＝1,2,...n；l＝1,2,...c；h
standard
为归一化函数，将每一个像素点的相似度分数映射到0
‑
1区间内；每一像素点取最高的r个分数，得到三通道，尺寸为m
×
n的评分结果图，对其采用平均池化操作，得到相似对比的最终响应图，公式为：5.根据权利要求1所述使用差异对比学习网络的半监督目标视频分割方法，其特征在于，获取c个通道，尺寸为m
×
n的差异度响应图，公式为：n的差异度响应图，公式为：其中，i＝1,2,...m,j＝1,2,...n；l＝1,2,...c；对每一像素点取最高的r个分数，得到三通道，尺寸为m
×
n的评分结果图，对其采用平均池化操作，得到差异对比的最终响应图，公式为：
6.根据权利要求1所述使用差异对比学习网络的半监督目标视频分割方法，其特征在于，目标区域和背景区域的计算公式为：的计算公式为：其中，σ为阈值，通过训练得到，用于判定视频帧中的目标、背景区域；设定卷积核大小为1
×
1，步长s＝1，对目标、背景初步分割结果采用卷积操作，进行精细处理，输出分割图公式为：7.一种使用差异对比学习网络的半监督目标视频分割系统，其特征在于，包括：差异对比学习网络，获取视频初始帧经骨干网络处理得到通用视觉特征，然后经边缘增强卷积处理得到细节纹理更加清晰的视觉特征所述视觉特征与初始帧分割图分别相乘得到目标特征背景特征所述目标特征送经过全局平均池化处理得到特征向量再经过全连接层精细处理得到全局映射特征相似对比分支单元，获取目标特征将每一个像素点特征向量与全局映射特征通过卷积核大小为1
×
1的卷积进行相似度对比，得到c个通道、尺寸为m
×
n的相似度评分图，即每一个像素点包含c个通道，每一通道有对应的相似度分数，保留每一通道前k名分数，进行平均池化处理，得到最终相似响应图差异对比分支单元，获取背景特征将每一个像素点特征向量与全局映射特征通过卷积核大小为1
×
1的卷积进行相似度对比，得到c个通道、尺寸为m
×
n的相似度评分图，即每一个像素点包含c个通道，每一通道有对应的相似度分数，保留每一通道前k名分数，进行平均池化处理，得到最终差异度响应图参考学习分支单元，将全局映射特征与视觉特征以像素为单位，通过卷积核大小为1
×
1的卷积进行相似度对比，得到c个通道、尺寸为m
×
n的相似度评分图，结合参考帧分割结果，通过卷积核大小为3
×
3的卷积得到精确度更高的响应图，最终输出目标、背景的分割结果。

技术总结
本发明公开了一种使用差异对比学习网络的半监督目标视频分割方法及系统，涉及视频分割技术领域。其根据初始帧掩码，提取目标的全局和局部特征信息，采用对比学习思想，提高目标全局特征和局部特征之间的相似度，扩大目标、背景特征之间的区分度，以获得更加鲁棒的目标特征表达。利用得到的全局特征进行像素对比，同时结合参考帧分割结果，保证视频分割结果中目标、背景区域划分的准确性。背景区域划分的准确性。背景区域划分的准确性。


技术研发人员：杨大伟 董美辰 毛琳 张汝波
受保护的技术使用者：大连民族大学
技术研发日：2021.07.12
技术公布日：2021/11/4