一种基于规范空间重定向与多源区域身份组合的人脸匿名化方法与系统
技本领域本发明属于计算机视觉、图像处理及隐私保护,具体涉及一种基于规范空间重定向与多源区域身份组合的人脸匿名化方法与系统。该方法通过将目标人脸图像以及多个参考人脸图像映射至规范化人脸空间,从不同参考人脸图像中分别提取眼部、鼻部和嘴部的区域身份表征,并利用目标自适应软掩码和掩码引导的交叉注意力调制对目标规范人脸特征进行区域身份特征注入,随后通过姿态重定向及人脸区域融合生成匿名化人脸图像,从而在降低目标人脸身份可识别性的同时,保持目标人脸的姿态、表情以及非人脸区域内容。
背景技术:
1、随着视频监控、移动终端、社交媒体及多媒体信息处理技术的发展,大量包含人脸信息的图像和视频被采集、存储和传输。人脸图像中包含具有较强个体区分能力的生物身份信息,可被人脸识别模型用于身份识别和身份追踪,因此在图像数据共享、发布和分析过程中存在隐私泄露风险。人脸匿名化技术通过对人脸图像中的身份相关信息进行修改或替换,使处理后的人脸难以与原始身份建立直接对应关系,同时尽可能保留姿态、表情、发型、背景等非身份信息,从而兼顾身份隐私保护与图像数据可用性。
2、传统人脸匿名化方法主要采用模糊化、像素化、遮挡等方式直接破坏人脸区域的视觉信息,此类方法实现简单且计算开销较低,但容易同时破坏人脸姿态、表情及其他有用视觉信息,降低匿名化图像的真实性和后续应用价值。
3、随着深度生成模型的发展,基于生成对抗网络、潜空间编辑及扩散模型的人脸匿名化方法逐渐得到应用。此类方法通过重新生成或替换目标人脸区域,可以获得较传统模糊化方法更加自然的匿名化结果。其中,基于扩散模型的方法能够获得较高的图像生成质量,但通常需要进行多步迭代去噪,在实际推理过程中具有较大的计算开销;基于生成对抗网络和潜空间编辑的方法具有较高的生成效率,但现有方法通常采用全局身份表示进行身份修改,或者直接利用单个参考身份替换目标身份。
4、采用全局身份表示进行人脸匿名化时,身份信息容易与目标人脸的姿态、表情、面部几何结构以及外观属性发生耦合,在修改身份特征的同时可能导致非身份属性发生变化;采用完整的单一参考身份替换目标身份时,虽然能够削弱匿名化图像与目标身份之间的关联,但匿名化结果可能重新与该参考身份建立较强关联,使身份隐私保护由“目标身份关联”转变为“参考身份关联”。现有区域人脸编辑方法虽然能够针对眼部、鼻部、嘴部等局部区域进行修改,但主要面向人脸编辑或者局部换脸任务,缺少面向匿名化任务的多源区域身份组合机制。
5、另一方面,当目标人脸与参考人脸之间存在姿态、尺度及面部布局差异时,直接在原始图像空间进行局部区域身份特征组合容易产生空间位置错位,使不同身份来源的区域特征难以与目标人脸结构保持一致。因此首先将目标人脸和参考人脸映射到规范化空间,使对应面部部件具有更加一致的空间布局。
6、因此,有必要提出一种人脸匿名化方法,在降低目标身份可识别性的同时,减少匿名化图像与任一完整参考身份之间的直接关联,并降低参考人脸与目标人脸之间姿态和空间布局差异对区域身份特征组合的影响,同时保持目标人脸的姿态、表情以及非人脸区域内容。
技术实现思路
1、本发明的目的在于克服现有人脸匿名化技术中存在的身份信息与非身份属性耦合、完整单一参考身份替换产生新的身份关联、不同人脸之间局部区域空间位置难以对齐以及部分生成式方法推理开销较大的问题,提供一种基于规范空间重定向与多源区域身份组合的人脸匿名化方法与系统。
2、为实现上述目的,本发明提出一种基于规范空间重定向与多源区域身份组合的人脸匿名化方法与系统,实现了通过多源参考图像对目标人脸进行匿名,能够保持目标人脸朝向与表情,同时降低匿名后图像与任一参考图像的关联。
3、本发明包括以下步骤:
4、阶段一:规范空间映射阶段。将目标人脸图像以及分别提供不同人脸区域身份特征的多个参考人脸图像映射至规范化人脸空间,获得目标规范人脸特征以及参考规范人脸表示。
5、优选地,将目标人脸图像以及多个参考人脸图像分别输入公开的冻结规范编码器进行特征编码,获得目标规范人脸特征以及各参考人脸对应的参考规范人脸特征;将各参考规范人脸特征输入规范解码器,获得对应的参考规范人脸图像。规范空间用于降低不同身份人脸之间由于姿态、尺度和面部布局差异造成的区域空间错位,使不同人脸的眼部、鼻部和嘴部在规范化人脸空间中具有更加一致的空间位置关系。
6、阶段二:多源区域身份表征阶段。从不同参考规范人脸表示中分别提取眼部、鼻部和嘴部的区域特征,对所述区域特征进行特征编码和部件感知映射,获得对应不同人脸区域的区域身份表征。
7、优选地,多个参考人脸图像包括提供眼部身份特征的眼部参考人脸图像、提供鼻部身份特征的鼻部参考人脸图像以及提供嘴部身份特征的嘴部参考人脸图像,其中左眼区域和右眼区域由眼部参考人脸图像提供,鼻部区域由鼻部参考人脸图像提供,嘴部区域由嘴部参考人脸图像提供。
8、优选的,针对各参考规范人脸图像,根据对应人脸区域的人脸关键点集合构建凸包,并对所述凸包内部进行填充得到二值区域掩码;利用所述二值区域掩码提取相应参考规范人脸图像中的局部区域,并经过区域裁剪和尺寸调整获得区域图像。
9、优选的,分别对左眼区域、右眼区域、鼻部区域和嘴部区域的区域图像进行视觉特征编码,获得对应的区域描述特征;为不同区域描述特征加入用于表征部件类别的可学习部件嵌入,并利用部件感知特征映射网络建立不同人脸区域之间的特征关联,得到用于区域身份特征调制的区域身份表征以及用于目标自适应软掩码预测的区域语义表征。
10、阶段三:目标自适应区域预测阶段。根据目标规范人脸特征以及所述区域身份表征预测对应不同人脸区域的目标自适应软掩码。
11、优选地,将目标规范人脸特征转换为具有空间维度的目标规范人脸特征图;将各区域对应的区域语义表征进行投影和融合,形成空间语义条件特征;将目标规范人脸特征图、空间语义条件特征以及表征规范空间位置的坐标特征共同输入软掩码预测网络。
12、软掩码预测网络输出分别对应左眼区域、右眼区域、鼻部区域、嘴部区域以及剩余非调制区域的五通道掩码预测结果,并对所述五通道掩码预测结果沿通道维度进行归一化处理;进一步利用目标规范人脸的面部边界对左眼区域、右眼区域、鼻部区域和嘴部区域对应的掩码进行约束,获得连续的目标自适应软掩码。
13、与直接采用固定二值区域掩码对目标人脸进行修改不同,所述目标自适应软掩码根据目标规范人脸特征以及区域语义表征确定各区域实际调制范围,从而适应不同目标人脸在面部几何结构和表情方面的差异。
14、阶段四:多源区域身份特征调制阶段。根据所述目标自适应软掩码,通过掩码引导的交叉注意力调制将各区域身份表征注入目标规范人脸特征,获得包含多源组合身份特征的调制规范人脸特征。
15、优选地,对目标规范人脸特征进行空间特征投影,获得目标内容条件特征;针对每个人脸区域,利用对应目标自适应软掩码对目标内容条件特征进行加权聚合,获得目标区域内容特征,并将所述目标区域内容特征与对应区域身份表征进行融合形成区域条件特征。
16、将区域条件特征映射为交叉注意力查询特征,将目标内容条件特征映射为交叉注意力键特征和值特征,通过多头交叉注意力获得对应人脸区域的注意力输出;依据注意力输出分别生成通道维度的缩放参数和偏移参数以及空问位置相关的调制特征。
17、利用各目标自适应软掩码约束所述通道维度的缩放参数、偏移参数及空间位置相关的调制特征,仅在对应人脸区域内对目标规范人脸特征产生区域残差调制;将左眼区域、右眼区域、鼻部区域和嘴部区域对应的区域残差进行融合,并再次利用各人脸区域目标自适应软掩码的聚合结果约束融合残差,得到所述调制规范人脸特征。
18、阶段五:姿态重定向及人脸区域融合阶段。将所述调制规范人脸特征按照目标人脸图像的姿态进行重定向解码,获得中间匿名化人脸图像,并利用人脸融合掩码将所述中间匿名化人脸图像的人脸区域与目标人脸图像进行融合,获得最终匿名化人脸图像。
19、优选地,从目标人脸图像中获得用于表征目标人脸姿态的目标驱动信息;将调制规范人脸特征转换为重定向解码器对应的特征形式,并结合所述目标驱动信息进行重定向解码,使规范空间中完成身份修改的人脸恢复至目标人脸姿态。
20、获得中间匿名化人脸图像后,根据目标人脸区域构建人脸融合掩码,并利用所述人脸融合掩码仅将中间匿名化人脸图像中的人脸区域融合至目标人脸图像中,人脸融合掩码之外的像素由目标人脸图像提供,从而保留目标人脸图像中的发型、背景以及其他非人脸区域内容。
21、与现有技术相比,本发明至少具有以下有益效果:
22、1.本发明在规范化人脸空间中进行区域身份特征提取和身份特征调制,降低不同人脸之间姿态及面部布局差异造成的局部区域空间错位,提高不同来源面部区域与目标人脸结构的匹配程度,同时保持目标人脸原有姿态。
23、2.本发明降低匿名化结果与原目标身份以及任一完整参考身份之间的直接身份关联,减少匿名化结果重新关联至特定完整身份的风险,从而增强目标人脸身份隐私保护效果。
24、3.本发明通过目标自适应软掩码确定不同人脸区域的实际调制范围,减少身份修改对非目标区域的影响,在降低目标身份可识别性的同时,较好保持目标人脸原有结构和表情。
25、4.本发明在实现人脸身份匿名化的同时,保持目标人物原有姿态,并保留发型、背景及其他非人脸区域内容,提高匿名化图像的场景信息保留程度。
26、5.本发明减少在线匿名化过程中对参考人脸的重复处理,降低在线推理阶段的计算开销,提高人脸匿名化处理效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com