一种基于多源事件触发和遮挡分类的驾驶员人脸识别方法与流程
本发明涉及车载视觉感知与生物特征识别,尤其涉及一种基于多源事件触发和遮挡分类的驾驶员人脸识别方法。
背景技术:
1、随着主动安全设备、驾驶员监控系统(dms)摄像头和高级驾驶辅助系统(adas)在营运车辆中的逐步安装,利用车内已有的图像采集设备确认实际驾驶员身份已经具备硬件条件。目前车载身份识别的常见做法是:车辆上电或驾驶员入座后,按照固定时间间隔抓取驾驶员面部图像,或者在单一车辆状态达到设定阈值时触发一次抓拍;随后将该帧图像中的人脸区域裁剪出来,提取特征向量,与预先存储的驾驶员模板进行相似度计算,根据计算结果是否超过预设阈值判断身份是否匹配。上述做法在实际营运环境中存在以下具体问题:
2、按照固定时间间隔持续抓拍意味着无论当前图像是否满足识别要求,系统都会在每个时间间隔结束时执行一次人脸检测和比对运算。在驾驶员已经完成身份确认且未发生换人行为的时段内,这些重复计算不产生新的判定结果,占用车载嵌入式处理器的算力和内存带宽,导致增加无效计算和原始图像暴露。
3、其次,在车辆振动、明暗快速变化、姿态偏转、口罩或眼镜遮挡的情况下,单帧全脸比对容易因图像质量不足或有效面部区域减少而产生不稳定结果。
4、最后,当单次比对的置信度低于阈值时,现有方案通常仅执行参数不变的重复抓拍,不能根据低亮度、运动模糊、遮挡、姿态或活体证据不足等不同原因调整采集条件,重复获得的图像仍可能不满足识别要求。
技术实现思路
1、本技术的目的在于降低固定周期或单一事件触发产生的无效抓拍,改善复杂光照和局部遮挡条件下识别结果不稳定的问题,并在首次识别证据不足时根据具体原因调整采集条件,降低相同条件下重复抓拍仍无法获得有效识别证据的概率。
2、为了解决上述技术问题,本技术提出一种基于多源事件触发和遮挡分类的驾驶员人脸识别方法,包括如下步骤:
3、s1:部署主动安全设备,采集所有受保护驾驶员的注册图像或历史审核通过图像,并对其中每幅图像执行人脸检测、关键点对齐和特征提取,形成对应的注册特征向量;再对所有注册特征向量进行特征变换,生成受保护驾驶员模板并构成受保护驾驶员模板库。
4、所述主动安全设备至少包括驾驶员监控摄像头、车辆状态采集模块、主动安全事件输出模块和边缘计算单元。
5、车辆状态采集模块采集车辆状态数据,包含车速、档位、制动状态、点火状态、位置、加速度及停留状态;主动安全事件输出模块采集输出主动安全事件数据;边缘计算单元执行事件评分、图像质量评估、活体校验、遮挡分类、模板匹配、置信度分层和低置信度原因诊断。
6、在车辆上部署主动安全设备后,还建立设备标识、车辆标识和驾驶员档案之间的绑定关系;对采集得到的目标驾驶员的注册图像或历史审核通过图像进行人脸检测、关键点对齐和特征提取形成注册特征向量。
7、进一步的,采用由变换参数或密钥k控制的可撤销化特征变换hk对注册特征向量fi进行变换,生成受保护驾驶员模板zi=hk(fi)并加密存储,所有受保护驾驶员模板共同构成受保护驾驶员模板库;所述可撤销化特征变换hk为保持或近似保持特征相似度排序的可撤销变换;所述受保护驾驶员模板使用基于随机盐值派生的加密密钥进行对称加密存储,或通过安全芯片进行密钥封装存储,并设置记录受保护驾驶员模板的版本号、有效期和撤销标识;注册特征向量不作持久化存储。
8、s2:获取车辆状态数据和主动安全事件数据,将所述车辆状态数据和主动安全事件数据映射为事件向量,并根据事件向量计算抓拍触发评分;仅当所述抓拍触发评分达到预设触发阈值时生成抓拍触发请求,控制驾驶员监控摄像头在预设时间窗内采集第一组连续多帧驾驶员面部图像作为待识别图像。
9、实时获取车辆状态数据和主动安全事件数据,并进一步从中获取车辆端的多类触发事件,将多类触发事件分别映射生成对应的事件向量,所述事件向量包含多个事件标志,并为每个事件标志预设对应的权重系数。
10、进一步的,所述多类触发事件至少包含起步加速、停留结束、定时巡检、主动安全风险以及设备重联或长时间未确认驾驶员身份事件。对于能够直接判定是否发生的事件,采用条件指示函数映射为0或1;对于主动安全事件输出模块能够输出置信度或风险等级的事件,按照预设等级映射关系或线性归一化公式将其映射至[0,1]。
11、进一步的,所述事件向量包括起步加速事件标志ea、停留结束事件标志es、定时巡检事件标志et、主动安全风险事件标志er以及设备重联或长时间未确认驾驶员身份事件标志eo。
12、具体的,定义指示函数,其中x为事件条件,即i(x)为事件条件x成立时取1、事件条件x不成立时取0的指示函数;
13、ea=i(a),es=i(s),et=i(t),eo=max(i(o1),i(o2)),er取主动安全事件数据中的风险置信度,未输出风险置信度时er取对应主动安全事件的指示函数值;
14、其中,a为车辆速度由不高于预设静止速度上升至不低于预设起步速度并持续预设采样次数;s为车辆持续停留时长达到预设停留时长后重新起步;t为距上次有效识别的时间达到预设巡检周期;o1为设备由离线恢复为在线,o2为未确认驾驶员身份时长达到预设时长。
15、所述抓拍触发评分t按照t=w1×ea+w2×es+w3×et+w4×er+w5×eo计算,其中,w1~w5为非负的权重系数,且权重系数之和为1;预设触发阈值的取值范围为[0,1];并且相同事件标志或位于预设冷却时间内的重复抓拍触发请求合并为一个抓拍触发请求,以减少重复采集和重复推理。
16、较佳的,采集的待识别图像被写入短期环形缓存并在超过预设保存时长后删除。
17、s3:对所述待识别图像进行质量评估,根据质量评估结果确定包括主识别帧和时序验证帧的目标图像组,并对所述目标图像组执行活体校验和遮挡分类,得到活体校验得分和遮挡分类结果。
18、所述主识别帧为待识别图像进行质量评估后达到预设质量阈值的图像中质量最优的一帧图像,所述时序验证帧为选取在采集时序上与所述主识别帧相邻、且图像质量达到预设质量阈值的至少一帧图像;不存在满足预设质量阈值的图像或无法确定至少一帧时序验证帧时,输出待复核状态并转入步骤s6。
19、进一步的,质量评估时,先定义函数clip(x)=min(1,max(0,x));
20、接着,按l=clip(1-|μ-μ0|/δμ)计算亮度得分l,其中,μ为人脸区域灰度均值,μ0为目标亮度中心值,δμ为允许的最大亮度偏差;
21、按b=1-clip(σlap2/τb)计算模糊度归一化值b,其中,σlap2为人脸区域拉普拉斯响应方差,τb为清晰图像对应的方差阈值;
22、按o=nocc,face/nface计算用于图像质量评分的整脸的遮挡比例o;其中,nocc,face为当前待评估图像帧中目标整脸区域内被遮挡像素数,nface为所述目标整脸区域的有效像素总数,且0≤nocc,face≤nface;
23、按p=clip(1-max(|yaw|/τy,|pitch|/τp,|roll|/τr))计算姿态合规得分p,其中,τy、τp、τr分别为偏航角绝对阈值、俯仰角绝对阈值和翻滚角绝对阈值;
24、按s=η×clip(nface/nref)+(1-η)×clip(σface/σref)计算清晰度得分s,其中,nref为参考人脸像素数,σface为人脸区域灰度标准差,σref为参考灰度标准差,η的取值范围为[0,1];
25、最后按照q=α1×l+α2×(1-b)+α3×(1-o)+α4×p+α5×s计算图像质量评分;其中,α1~α5为非负的权重系数且权重系数之和为1;δμ、τb、τy、τp、τr、nref和σref均大于0;人脸检测失败或nface等于0时,输出待复核状态并转入步骤s6。
26、所述活体校验基于目标图像组中的时序变化执行,分别获取各可用活体线索j所对应的活体概率pj,所述活体概率pj由活体检测模型对该可用活体线索j对所述目标图像组中相应区域进行处理后输出,用于表征该可用活体线索j的真实性置信度,且pj的取值范围为[0,1];
27、存在至少一个可用活体线索时,按照v=(σj γj×pj)/(σj γj)计算活体校验得分v,γj为非负权重且σj γj大于0;无可用活体线索时将v设为活体失败阈值φ0并标记为活体证据不足,且0≤φ0<φ1≤1。
28、优选地,所述时序验证帧至少包括在所述主识别帧之前采集的前向关联帧,以及在所述主识别帧之后采集的后向关联帧。
29、优选地,所述活体校验基于眨眼信息、头部姿态变化信息、瞳孔反射信息、可见光与近红外响应差异执行,从其中获取可用活体线索。
30、s4:根据遮挡分类结果选择全脸识别路径或局部区域识别路径,提取与所选识别路径对应的查询特征向量,对所述查询特征向量执行与所述注册特征向量相同参数的特征变换,并在变换后的查询特征与所述受保护驾驶员模板库中的各受保护驾驶员模板逐一比对获得各模板相似度,将各模板相似度中的最高值确定为模板匹配相似度,并将取得模板相似度最高值的受保护驾驶员模板对应的驾驶员确定为候选驾驶员。
31、当遮挡分类结果为无遮挡或轻度遮挡时进入全脸识别路径,当遮挡分类结果存在中度或重度遮挡时根据可见区域进入眼周-眉弓-鼻梁路径或下半脸辅助路径,即局部区域识别路径。
32、使用车端人脸识别模型包中的人脸特征提取模型,对全脸识别路径或局部区域识别路径对应的目标区域提取查询特征向量;对查询特征向量执行与注册特征向量相同参数的可撤销化特征变换hk,在变换后的特征空间内与受保护驾驶员模板库中的各受保护驾驶员模板逐一比对。
33、较佳的,当所选识别路径为局部区域识别路径时,还验证主识别帧与时序验证帧对应的候选驾驶员身份是否一致。
34、进一步的,所述遮挡分类至少包括下半脸遮挡、眼周遮挡和帽檐遮挡,并检测逆光干扰状态;按oeye=nocc,eye/neye计算主识别帧的眼周遮挡比例,按olower=nocc,lower/nlower计算主识别帧的下半脸遮挡比例,按ocap=nocc,cap/ncap计算主识别帧中的帽檐遮挡比例ocap;其中,nocc,eye、nocc,lower和nocc,cap分别为眼周区域、下半脸区域和帽檐敏感区域内的被遮挡像素数,neye、nlower和ncap分别为眼周区域、下半脸区域和帽檐敏感区域的有效像素总数;所述帽檐敏感区域为根据主识别帧中的人脸关键点,在目标整脸区域内确定的覆盖额部、眉弓和眼周上缘的预设区域,nocc,cap包括所述帽檐敏感区域内由帽檐本体或帽檐投射阴影造成的遮挡像素;且0≤nocc,eye≤neye、0≤nocc,lower≤nlower、0≤nocc,cap≤ncap;
35、按照如下的路径选择条件判断选择目标识别路径:在oeye、olower和ocap均低于遮挡阈值时选择全脸识别路径;在olower低于遮挡阈值且oeye或ocap中的至少一项不低于遮挡阈值时选择下半脸区域;在olower不低于遮挡阈值且oeye和ocap均低于遮挡阈值时选择眼周、眉弓和鼻梁中的至少一个区域;在olower不低于遮挡阈值且oeye或ocap中的至少一项不低于遮挡阈值时输出待复核状态并转入步骤s6。
36、进一步的,在安全执行环境内调入并解密所述受保护驾驶员模板库,只保留有效的受保护驾驶员模板;所述有效的受保护驾驶员模板为未超过有效期、未设置撤销标识且向量非零的受保护驾驶员模板;对查询特征向量f执行与注册特征向量相同参数的特征变换,即对查询特征向量f执行可撤销化特征变换hk,得到变换后的查询特征z=hk(f),并在z与zi之间计算归一化余弦相似度ri,计算公式为ri=[(z·zi)/(||z||×||zi||)+1]/2,||·||表示l2范数;
37、将所有ri中的最大值r=max(ri)确定为模板匹配相似度,将i*=argmax(ri)对应的驾驶员确定为候选驾驶员;
38、受保护驾驶员模板库中存在至少两个有效的受保护驾驶员模板时,将r与属于非候选驾驶员的最高模板相似度r2的差值δr=r-r2确定为候选区分度;
39、受保护驾驶员模板库仅含一个有效的受保护驾驶员模板时,不计算所述候选区分度。
40、在变换后的查询特征z为零向量、无有效的受保护驾驶员模板,或者在存在至少两个有效的受保护驾驶员模板且候选区分度低于预设区分度阈值的任一情况下,输出待复核状态并转入步骤s6。
41、s5:融合所述模板匹配相似度、活体校验得分,得到身份置信度;根据身份置信度和活体校验得分输出识别状态。
42、当活体校验得分低于活体失败阈值时,输出识别失败状态并结束本次识别流程;当活体校验得分不低于活体通过阈值且身份置信度不低于确认阈值时,输出身份确认状态并结束本次识别流程;当活体校验得分不低于活体通过阈值且身份置信度低于失败阈值时输出识别失败状态;其余情况输出待复核状态;其中,活体失败阈值低于活体通过阈值,失败阈值低于确认阈值;
43、本技术中,所述身份确认状态表示成功识别当前驾驶员为受保护驾驶员;所述识别失败状态表示本次身份识别不通过;所述待复核状态表示现有证据不足以得出确定识别结论,不做身份判定,触发后续复核流程。
44、进一步的,计算身份置信度还融合候选驾驶员与车辆授权信息的一致性得分a和由遮挡分类结果确定的遮挡惩罚因子;
45、按照a=(σq δq×aq)/(σq δq)计算a,其中,aq为候选驾驶员与车辆授权、排班、驾驶员档案或证件光学字符识别信息中可用信息项q的一致性值,且aq的取值范围为[0,1];δq为非负权重且σq δq大于0;
46、按照m=clip(λ1×oeye+λ2×olower+λ3×ocap+λ4×ilocal)计算遮挡惩罚因子m;其中,ilocal为局部区域识别路径指示值,选择局部区域识别路径时取1,否则取0,λ1~λ4为非负系数;
47、按照c=clip(β1×r+β2×v+β3×a-β4×m)计算身份置信度c,其中β1~β4表示对应非负权重系数,有可用信息项时β1+β2+β3=1,β4为遮挡惩罚权重;无可用信息项时将a和对应的融合权重β3均设置为0,并对β1和β2归一化。
48、s6:输出待复核状态时,根据图像质量评估结果、活体校验得分、遮挡分类结果、变换后查询特征有效性、受保护驾驶员模板库有效性和候选区分度中的至少一项确定待复核原因,并根据所述待复核原因生成复核调整指令。
49、所述复核调整指令包括采集参数调整指令、识别路径调整指令或模板库恢复指令中的至少一种;采集参数或识别路径调整指令用于调整曝光增益、曝光时间、近红外补光状态、采集的预设时间窗、采集帧数或识别区域中的至少一项;模板库恢复指令用于校验、同步或重新加载有效的受保护驾驶员模板。
50、进一步的,当输出待复核状态时,读取待识别图像的质量评估结果、目标图像组的活体校验得分、遮挡分类结果、变换后查询特征有效性、受保护驾驶员模板库有效性和候选区分度,按照待复核原因生成对应的复核调整指令:
51、在质量评估中,当人脸检测失败,或nface等于0,或不存在满足预设质量阈值的图像,或无法确定至少一帧时序验证帧时,增加采集帧数或扩大采集的预设时间窗;
52、由所述质量评估得到的亮度得分l低于亮度阈值时,提高曝光增益或开启近红外补光;
53、由所述质量评估得到的模糊度归一化值b高于模糊度阈值时,缩短曝光时间并增加采集帧数;
54、olower不低于遮挡阈值且oeye或ocap中的至少一项不低于遮挡阈值时,增加采集帧数或扩大预设时间窗,当重新采集的图像中满足全脸识别路径或任一局部区域识别路径的路径选择条件时,切换至对应的局部区域识别路径;
55、由所述质量评估得到的姿态合规得分p低于姿态阈值时,扩大采集的预设时间窗;
56、活体校验得分v不低于活体失败阈值且低于活体通过阈值时,增加时序验证帧或切换近红外补光状态;
57、变换后的查询特征z为零向量时,若存在满足可见区域条件的其他识别路径,生成切换识别路径并重新提取查询特征向量的识别路径调整指令;不存在所述其他识别路径时,生成增加采集帧数或扩大采集的预设时间窗的采集参数调整指令;
58、无有效的受保护驾驶员模板时,生成模板库恢复指令,校验车端人脸识别模型包版本、可撤销化特征变换版本和受保护驾驶员模板库版本,并同步或重新加载未超过有效期且未设置撤销标识的受保护驾驶员模板;
59、存在至少两个有效的受保护驾驶员模板且候选区分度低于预设区分度阈值时,生成增加采集帧数或扩大预设时间窗的采集参数调整指令。
60、s7:执行所述复核调整指令;当所述复核调整指令为采集参数调整指令或识别路径调整指令时,采集第二组连续多帧驾驶员面部图像并重新执行步骤s3-s5;当所述复核调整指令为模板库恢复指令时,在同步或重新加载有效的受保护驾驶员模板后,利用当前有效查询特征重新执行步骤s4-s5;执行复核调整指令后仍输出待复核状态时,生成脱敏证据包并执行云端自动复核。
61、进一步的,所述脱敏证据包包括受保护查询特征、局部裁剪图、时间戳、事件类型、设备状态、车端人脸识别模型包版本和受保护驾驶员模板库版本,不上传完整原始视频。
62、所述受保护查询特征为对步骤s4获得的变换后查询特征加密形成的特征数据,不包含未经可撤销化特征变换的查询特征;所述局部裁剪图仅保留云端自动复核所需区域并对非识别区域作遮蔽处理;所述车端人脸识别模型包至少包括人脸特征提取模型及其版本标识,并记录活体检测模型、遮挡分类模型、确认阈值、失败阈值、活体失败阈值、活体通过阈值和可撤销化特征变换版本中的至少一项。
63、所述脱敏证据包经加密后通过具有双向认证的安全通信链路传输;云端自动复核是由云端识别服务在安全执行环境内,解密所述受保护查询特征和与所述脱敏证据包中记录的版本相匹配的有效受保护驾驶员模板后,在变换后特征空间内执行的自动二次比对,云端自动复核仍未形成确定结论或存在争议时生成人工审核任务进行人工审核。
64、进一步的,所述人工审核不同于云端自动复核,由授权审核人员根据脱敏证据包、车辆授权信息和驾驶会话记录核验候选驾驶员身份,并给出真实身份标签、误识别标签或无法确认标签;仅将人工审核得到确定标签的难例样本和误识别样本用于增量训练;对车端人脸识别模型包中的人脸特征提取模型、活体检测模型或遮挡分类模型中的至少一个执行增量训练、蒸馏、量化感知训练或剪枝压缩,将各子模型版本、阈值配置、可撤销化特征变换版本和完整性校验摘要封装为新的车端人脸识别模型包版本并通过a/b双分区方式下发;当试运行期间的识别失败率、误识别率或服务异常率超过回滚阈值时切换至上一稳定版本。
65、本发明一种基于多源事件触发和遮挡分类的驾驶员人脸识别方法的有益效果为:(1)通过对车辆状态事件和主动安全事件进行加权融合,仅在触发评分达到阈值时进行多帧采集,并合并冷却窗口内的重复触发请求,可减少无效抓拍和重复推理;(2)通过多帧质量筛选、活体校验和全脸/局部区域分支识别,使进入比对环节的图像满足质量条件,并提高遮挡或复杂光照条件下识别结果的稳定性;(3)在身份置信度处于灰区时,不采用采集条件不变的重复抓拍,而是根据低亮度、模糊、遮挡、姿态或活体证据不足的具体原因调节采集参数或识别区域,形成采集、诊断、调节和复判的反馈协同;(4)通过可撤销化特征变换、模板加密、短期环形缓存和不含完整原始视频的脱敏证据包,减少未经保护的生物特征及完整原始视频的持久化存储和传输。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com