一种退化感知的小目标人脸检测训练方法及系统与流程
本发明涉及计算机视觉与深度学习的目标检测,具体涉及一种退化感知的小目标人脸检测训练方法及系统。
背景技术:
1、人脸检测是人脸识别、视频监控、智能安防等系统的前置基础环节。在远距离监控、广角大场景等真实部署条件下,人脸在图像中所占像素极少,构成小目标人脸。卷积神经网络经过多次下采样后,小目标人脸的判别性特征严重丢失,导致现有检测器在小目标上的漏检与误检明显增多,整体性能大幅下降。
2、现有技术在小目标人脸检测训练上主要存在以下不足:其一,训练所用的小目标样本与真实远距离低分辨率成像之间存在域差;其二,现有跨尺度对齐以大目标干净特征为目标,目标不可达,易导致对齐无效或大目标特征塌缩;其三,全局特征对齐受前景与背景失衡影响、且两分支预测框坐标系不一致,对人脸目标监督不足;其四,若为对齐引入可自由训练的迁移模块、且其输出可被任意改写,则该目标可能向学生当前特征坍缩,使对齐损失被轻易最小化却不带来有效监督,仅对教师特征停止梯度不足以避免此问题;其五,训练若仅以退化分支的检测损失驱动共享权重,则模型在推理所面对的全分辨率或常规尺寸图像上的性能缺乏锚定,存在顾此失彼的风险。
3、因此,如何设计一种退化感知的小目标人脸检测训练方案,在不增加推理开销的前提下,既贴近真实退化、又为小目标提供可达的对齐目标、并将监督聚焦于人脸前景,从而切实提升远距离低分辨率场景下的小目标人脸检测性能,是亟需解决的技术问题。
技术实现思路
1、针对现有技术的上述缺陷,本发明提供一种退化感知的小目标人脸检测训练方法及系统,通过共享权重的双分支训练框架、受约束的退化条件化可达目标、实例级前景对齐与坐标归一化定位一致性、双分支检测监督和零退化锚定的协同,在不增加推理开销的前提下提升远距离低分辨率场景下的小目标人脸检测性能。
2、第一方面,本技术实施例提供了一种退化感知的小目标人脸检测训练方法,包括如下步骤:
3、获取初始人脸检测模型,所述初始人脸检测模型包括主干网络和检测头;
4、构建共享所述主干网络和所述检测头权重的教师分支和学生分支,所述教师分支用于接收清晰图像,所述学生分支用于接收退化图像;所述退化图像由参数化复合退化算子对所述清晰图像施加包括下采样、模糊、噪声和压缩在内的组合退化生成,所述复合退化算子的参数编码为退化条件向量;
5、以所述退化条件向量为条件,对停止梯度的教师分支特征施加受约束的逐通道条件仿射变换,获得退化条件下可达的对齐目标;对所述学生分支特征施加学生侧预测器变换,获得变换后的学生特征;以所述对齐目标监督所述变换后的学生特征,计算特征对齐损失,所述特征对齐损失仅在根据真实人脸框确定的前景区域上计算;
6、对所述教师分支和所述学生分支分别施加分类损失和边框回归损失,获得双分支检测损失;根据两分支的预测框分别按各自图像尺寸归一化后的结果,计算定位一致性损失;
7、以训练总损失对所述主干网络、所述检测头、所述条件仿射变换和所述学生侧预测器执行联合训练,所述训练总损失包括所述双分支检测损失、所述特征对齐损失、所述定位一致性损失和零退化锚定损失,所述零退化锚定损失用于在退化参数趋于零时约束所述条件仿射变换趋于恒等变换;
8、在推理阶段,仅保留所述主干网络和所述检测头,对输入图像执行单次前向推理,获得人脸检测结果。
9、优选地,所述参数化复合退化算子将所述下采样、所述模糊、所述噪声和所述压缩按预设次序串联,并选择性叠加大气散射退化;
10、所述复合退化算子的参数包括下采样尺度、模糊核、噪声强度、压缩质量因子和大气散射系数中的至少一种;所述退化参数经嵌入层编码为退化条件向量;退化强度随训练轮次单调增强。
11、优选地,所述受约束的逐通道条件仿射变换的缩放参数采用恒等中心化参数化,所述缩放参数为基准值与条件偏移量之和;
12、所述停止梯度处理用于在前向传播时保持教师分支特征取值不变、在反向传播时不向所述教师分支特征的上游传递梯度;
13、所述学生侧预测器为逐点卷积,用于对所述学生分支特征逐通道执行线性变换处理,获得所述变换后的学生特征。
14、优选地,所述特征对齐损失仅在根据真实人脸框确定的前景区域上计算,包括:
15、根据真实人脸框生成前景掩码,所述前景掩码用于标记特征网格上属于人脸前景的空间位置;对所述前景掩码标记的各空间位置,计算所述变换后的学生特征与所述对齐目标之间的余弦距离;对所述前景掩码标记的各空间位置的余弦距离求平均,获得所述特征对齐损失;
16、或,对所述真实人脸框执行实例对齐提取处理,获得逐实例的学生实例特征和对齐目标实例特征;对各实例,计算所述学生实例特征与所述对齐目标实例特征之间的余弦距离;对各实例的余弦距离求平均,获得所述特征对齐损失。
17、优选地,所述归一化为将预测框的横坐标分量除以所在图像的宽、将预测框的纵坐标分量除以所在图像的高;
18、所述定位一致性损失为两分支归一化预测框之间的l2距离与一减去交并比之和;所述定位一致性损失仅对两分支共享锚框中由真实框分配为正样本的锚框、在非极大值抑制之前计算。
19、优选地,所述以训练总损失对所述主干网络、所述检测头、所述条件仿射变换和所述学生侧预测器执行联合训练之前,还包括:
20、对学生分支特征执行特征复原处理,所述特征复原处理由特征复原头执行,获得复原特征;
21、计算特征复原一致性损失,所述特征复原一致性损失为所述复原特征与停止梯度的教师分支特征之间的l2距离在所述前景区域上的平均值;
22、所述训练总损失还包括所述特征复原一致性损失;其中,所述特征复原头在推理阶段移除。
23、优选地,所述训练总损失为所述双分支检测损失、所述特征对齐损失、所述定位一致性损失、特征复原一致性损失与所述零退化锚定损失的加权和;
24、所述零退化锚定损失为在退化参数趋于零的样本上取平均的、缩放参数与基准值的差的范数平方与平移参数范数平方之和。
25、优选地,所述退化强度为随训练轮次单调增强的调度值;
26、所述复合退化算子的各参数分量按所述退化强度的单调函数确定取值,或按以所述退化强度为参数的分布采样确定取值。
27、优选地,所述在推理阶段,仅保留所述主干网络和所述检测头,对输入图像执行单次前向推理,获得人脸检测结果,包括:
28、移除所述参数化复合退化算子、所述条件仿射变换、所述学生侧预测器和特征复原头;
29、以所述主干网络和所述检测头构成推理网络,所述推理网络的结构与基础人脸检测器的结构一致;
30、对输入图像执行单次前向推理处理,获得人脸检测结果;
31、其中,所述基础人脸检测器为单阶段、两阶段或无锚框检测器中的任一种。
32、第二方面,本技术实施例提供了一种退化感知的小目标人脸检测训练系统,用于实现第一方面中任一项所述的方法,包括:
33、模型初始化模块,用于获取初始人脸检测模型,所述初始人脸检测模型包括主干网络和检测头;
34、退化样本生成模块,用于构建参数化复合退化算子,生成退化图像,并将退化参数编码为退化条件向量;
35、特征对齐模块,用于以所述退化条件向量为条件对停止梯度的教师分支特征施加受约束的逐通道条件仿射变换获得对齐目标,并对学生分支特征施加学生侧预测器变换,计算前景区域上的特征对齐损失;
36、检测监督模块,用于对教师分支和学生分支分别施加分类损失和边框回归损失,并计算定位一致性损失;
37、联合训练模块,用于以包括双分支检测损失、特征对齐损失、定位一致性损失和零退化锚定损失的训练总损失,对主干网络、检测头、条件仿射变换和学生侧预测器执行联合训练;
38、推理模块,用于在推理阶段移除训练专用模块,仅保留主干网络和检测头,对输入图像执行单次前向推理,获得人脸检测结果。
39、本发明相较于现有技术的方案,至少具有以下有益的技术效果:
40、(1)通过退化建模使训练样本贴近真实远距离低分辨率成像:以下采样、模糊、噪声、压缩(及可选大气散射)的参数化复合退化合成训练图像,并按课程逐步增强退化强度,缩小了训练与部署之间的域差,提升了真实场景泛化能力,使模型在远距离监控、广角大场景等部署条件下的小目标人脸漏检与误检明显下降;
41、(2)通过受约束的退化条件化可达目标、学生侧预测器、零退化锚定与停止梯度的协同,既缓解了目标不可达导致的对齐无效,又避免了对齐目标向学生特征坍缩导致的对齐空转:条件仿射仅按退化条件对教师特征做逐通道缩放与平移,不改变空间结构、无法凭空拟合学生特征;零退化锚定保证无退化时对齐目标退化为清晰特征本身,使跨尺度对齐在各类退化强度下均确实生效;
42、(3)通过实例级前景对齐将监督聚焦于人脸、抑制背景干扰,仅在由真实人脸框确定的前景掩码或逐实例上计算对齐损失,避免背景主导梯度,提升了小目标人脸的判别性与定位精度;
43、(4)通过坐标归一化定位一致性将两分支预测框归一化到统一坐标系后比较,以归一化l2与iou一致性的组合监督两分支预测的一致性,并在两分支共享锚框的正样本上计算,天然建立逐锚对应、避免噪声监督;
44、(5)通过检测损失同时作用于教师分支与学生分支,在提升小目标的同时锚定了常规与大目标性能,缓解了仅以退化分支驱动共享权重导致的顾此失彼的性能漂移风险,保证推理期全分辨率图像上的检测精度不下降;
45、(6)通过推理阶段移除退化算子、条件仿射变换、学生侧预测器和特征复原头等全部训练专用模块,训练所得增益沉淀于主干网络,推理结构不变、无额外计算开销,便于在已有检测系统上即插即用、低成本升级。
46、(7)通过将核心机制以可移除子网络形态承载,并支持多种退化组合、多种条件变换形式、多种基础检测器与检测对象,形成了结构性的技术方案,适用范围广,便于推广应用。
47、综上所述,本发明以共享权重的双分支训练框架,将退化感知样本生成、受约束的退化条件化可达目标、实例级前景对齐、坐标归一化定位一致性、双分支检测监督与零退化锚定组织为同一训练闭环,并在推理阶段移除全部训练专用模块,在不增加推理开销的前提下显著提升了远距离低分辨率场景下的小目标人脸检测性能,具有良好的工程可实施性和推广应用价值。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com