一种多人像群体场景下个体识别与独立抠图协同方法与流程
本发明涉及个体识别与独立抠图领域,具体是涉及一种多人像群体场景下个体识别与独立抠图协同方法。
背景技术:
1、随着计算机视觉与智能图像处理技术的广泛普及,在安防监控、影视制作、增强现实及智能拍照等领域,经常需要在多人共存的群体场景中识别特定目标个体,并将其从背景中精确分离,获得独立的抠图结果,该任务涉及两个紧密耦合的视觉子问题:一是个体识别与定位,即从拥挤、遮挡、姿态多变的群体图像中准确找到目标个体的位置;二是独立抠图,即对该目标区域生成逐像素的透明蒙版,实现精细前景分离,在集体合影、密集人流、舞台表演、公共监控等复杂环境中,人物相互靠近、肢体重叠、姿态多样、背景杂乱,如何精准锁定目标并完成高质量抠图,已成为图像编辑、影视后期、虚拟合成与安防分析等应用的核心技术需求。
2、目前,针对群体人像的识别与抠图技术大多采用目标检测与抠图串行执行的传统方案,先通过检测模型定位人物区域,再将检测结果送入抠图模块生成透明蒙版,此类方法虽然流程简单、易于实现,但在实际应用中存在明显缺陷:首先,检测模块与抠图模块相互独立、缺乏信息交互,检测产生的定位偏差、框选不准、区域偏移等问题会直接传递至抠图阶段,导致抠图出现边缘残缺、发丝丢失、背景混入等现象;其次,抠图结果无法对检测区域进行反向修正,难以形成协同优化机制,在密集人群、局部遮挡、目标相似的场景下极易出现定位失效与抠图失败;再次,现有协同方法普遍存在迭代流程不闭环、网络结构定义模糊、特征利用不充分、蒙版质量评价不合理等问题,部分方案存在逻辑冲突、流程断裂或公式设计不科学等缺陷,导致算法鲁棒性差、难以落地。
3、综上,现有技术难以在复杂多人像群体场景中同时实现精准的目标个体识别与高质量的独立抠图,无法满足实际应用对准确性、精细度、稳定性与实用性的要求,因此亟需一种逻辑严谨、流程闭环、可协同迭代的个体识别与独立抠图协同方法。
技术实现思路
1、为解决上述技术问题,提供一种多人像群体场景下个体识别与独立抠图协同方法,本技术方案解决了上述背景技术中提出的现有技术难以在复杂多人像群体场景中同时实现精准的目标个体识别与高质量的独立抠图,无法满足实际应用对准确性、精细度、稳定性与实用性的要求问题。
2、为达到以上目的,本发明采用的技术方案为:
3、一种多人像群体场景下个体识别与独立抠图协同方法,包括:
4、获取群体场景下的待处理图像及特定目标的参考特征,构建个体识别与抠图协同处理的双域优化网络,所述双域优化网络包括识别分支和抠图分支;
5、基于双域优化网络,利用识别分支对群体图像进行多尺度特征提取与目标候选区域定位,输出候选区域的位置坐标与对应的身份置信度以及前景置信度;
6、基于候选区域,利用抠图分支生成初始透明蒙版,并根据透明蒙版边缘质量与区域内部一致性计算区域置信度;
7、将抠图分支输出的透明蒙版作为反馈信号输入修正网络,修正候选区域位置偏移与前景置信度,并将修正后的候选区域作为下一轮抠图分支的输入;
8、将识别分支内部顶层融合特征图作为引导信息输入抠图分支,优化透明蒙版边缘细节;
9、重复执行透明蒙版反馈修正与特征图引导细化两个操作,直至相邻两次迭代的透明蒙版差异小于收敛阈值或达到最大迭代次数,输出最终抠图结果,其中,每轮迭代均基于上一轮修正后的候选区域重新生成透明蒙版。
10、优选的,所述获取群体场景下的待处理图像及特定目标的参考特征,构建个体识别与抠图协同处理的双域优化网包括:
11、获取待处理群体图像以及特定目标的参考特征向量,其中,参考特征向量由一张或多张目标参考图像输入预训练特征提取网络编码得到;
12、构建双域优化网络,所述双域优化网络由识别分支、抠图分支及协同迭代模块三部分组成;
13、识别分支采用编码器-解码器结构,编码器为深度残差网络resnet50,解码器采用特征金字塔网络结构;
14、抠图分支采用编码器-解码器结构,该编码器为轻量化卷积神经网络,与识别分支的编码器不共享参数,解码器为双分支解码器;
15、协同迭代模块负责分支间的信息交互与迭代控制,包括:将抠图分支输出的透明蒙版输入修正网络,以修正候选区域位置与前景置信度,并将修正后的候选区域坐标回传至抠图分支用于下一轮蒙版生成;将识别分支内部的特征图输入抠图分支以细化边缘细节;计算相邻迭代蒙版差异与收敛阈值比较判定是否收敛。
16、优选的,所述利用识别分支对群体图像进行多尺度特征提取与目标候选区域定位,输出候选区域的位置坐标与对应的身份置信度以及前景置信度包括:
17、将待处理群体图像输入识别分支的编码器,依次经过若干个卷积块后,输出不同分辨率的特征图集合;
18、将特征图集合输入特征金字塔网络,对高层特征进行上采样并与低层特征逐元素相加融合,生成融合特征图;
19、在低步长的融合特征图上预设若干种锚框进行候选区域生成,并保留高步长的顶层特征图作为高层语义特征;
20、每个锚框设定固定的长宽比和尺度,每个锚框对应一个初始候选区域,并通过一个卷积层对每个初始候选区域预测前景得分,作为前景置信度;
21、对初始候选区域采用非极大抑制,筛选出前景置信度最高的前m个区域作为初步候选区域,其中m小于锚框总数;
22、对每个初步候选区域,通过感兴趣区域对齐操作从融合特征图中提取固定尺寸的特征图;
23、将该特征图展平为一维向量,输入两个并行全连接分支,分别输出该候选区域的前景概率和位置偏移量;
24、利用前景概率筛选出高于设定阈值的前景候选区域,并利用位置偏移量修正其边界框坐标;
25、对修正后的每个前景候选区域,再次提取固定尺寸的特征图,该特征图经全局平均池化层及全连接层,得到深层特征向量;
26、将该深层特征向量与参考特征向量采用余弦相似度计算身份置信度;
27、设定身份置信度阈值,筛选出身份置信度大于该阈值的候选区域,按置信度从高到低排序,选取前k个候选区域作为初始定位结果;
28、其中,每个候选区域表示为一个三元组,包括:该候选区域的位置坐标、对应的身份置信度及前景置信度。
29、优选的,所述基于候选区域,利用抠图分支生成初始透明蒙版,并根据透明蒙版边缘质量与区域内部一致性计算区域置信度包括:
30、对每个候选区域,从原始图像中裁剪对应区域图像,等比缩放至固定尺寸;
31、将裁剪的对应区域图像输入抠图分支,其中,抠图分支包括轻量化卷积神经网络与双分支解码器;
32、采用轻量卷积神经网络输出特征图,双分支解码器分别预测前景概率图和背景概率图,经softmax归一化软加权融合得到初始透明蒙版;
33、所述透明蒙版为单通道灰度图,每个像素值表示该位置属于前景的概率;
34、根据初始透明蒙版,计算透明蒙版梯度图,并对梯度图做非极大值抑制提取边缘点集;
35、设定前景阈值,定义初始透明蒙版大于该前景阈值为前景像素坐标集合;
36、分别计算边缘质量度量和区域内部一致性度量,并根据边缘质量度量和区域内部一致性度量,计算区域置信度,并选取区域置信度最高的候选区域作为当前最佳目标区域。
37、优选的,所述将抠图分支输出的透明蒙版作为反馈信号输入修正网络,修正候选区域位置偏移与前景置信度包括:
38、将当前最佳目标区域对应的初始透明蒙版上采样至原始图像尺寸,得到反馈蒙版;
39、根据当前候选区域框,分别从原始图像和反馈蒙版中裁剪出对应的区域图像,并将这两个裁剪区域沿通道维度拼接,形成四通道输入,输入修正网络;
40、其中,裁剪后的区域图像统一缩放至固定尺寸;
41、修正网络由两层3×3卷积层,每层后接批归一化与relu激活,后接全连接层构成,输出候选区域位置修正量和前景置信度修正量;
42、候选区域框采用中心坐标与宽高表示,按下式迭代更新候选区域位置与前景置信度,其中,身份置信度在首次识别后保持固定,不参与迭代更新。
43、优选的,所述将识别分支内部顶层融合特征图作为引导信息输入抠图分支,优化透明蒙版边缘细节包括:
44、将特征金字塔网络生成的顶层融合特征图经双线性插值上采样至与当前迭代蒙版相同尺寸,得到引导特征图;
45、将引导特征图与当前迭代蒙版沿通道维度拼接,并输入引导细化模块,输出精细化透明蒙版;
46、所述引导细化模块包含三个残差卷积块和一个全局跳跃连接,每个残差块由两个3×3卷积层及跳跃连接构成,并在训练阶段采用联合边缘损失进行约束。
47、优选的,所述重复执行透明蒙版反馈修正与特征图引导细化两个操作,直至相邻两次迭代的透明蒙版差异小于预设收敛阈值或达到最大迭代次数,输出最终抠图结果包括:
48、设定最大迭代次数和收敛阈值;
49、在第t次迭代结束时,将当前蒙版与上一轮蒙版中每个对应像素的差值取绝对值,得到每个像素的绝对差值;
50、对所有像素的绝对差值求和,并除以图像的总像素个数,得到平均绝对差异值,所述图像的总像素个数等于图像高度乘以宽度;
51、若平均绝对差异值小于收敛阈值或当前迭代次数已达到最大迭代次数,则停止迭代,将当前蒙版作为最终透明蒙版输出,否则,将当前蒙版作为新的反馈信号,并将上一轮修正后的候选区域作为当前轮抠图分支的输入,重复执行透明蒙版反馈修正与特征图引导细化两个操作;
52、将原始图像与迭代后透明蒙版逐像素相乘,即每个像素位置上的颜色值乘以该位置蒙版的前景概率值,获取最终前景抠图图像。
53、与现有技术相比,本发明的有益效果在于:
54、本方案通过构建识别分支与抠图分支协同工作的双域优化网络,实现了定位结果与抠图蒙版间的双向迭代优化,有效打破传统检测与抠图串行处理带来的误差传递问题,在密集人群、局部遮挡、姿态多变的复杂群体场景中仍能精准锁定特定目标并完成精细抠图;同时采用修正网络实现蒙版对候选区域的反向校准,并以识别分支高层语义特征引导蒙版边缘细化,以及推理阶段的自监督边缘正则化,在无需额外标注的条件下逐轮提升抠图的边缘锐度与区域稳定性,有效提升目标定位准确度与抠图边缘完整性,从而在多人群体复杂场景中实现特定目标个体的高精度、高效率独立抠图。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com