驾驶状态的识别方法、装置、设备、介质、产品与流程
本技术属于计算机,尤其涉及一种驾驶状态的识别方法、装置、设备、介质、产品。
背景技术:
1、在驾驶过程中实时检测驾驶员状态并及时进行提示,能够提升行车安全性与智能座舱交互体验。目前,通常采用两种主流方案来感知驾驶员状态:第一类方案是基于语音交互或指令识别的方式,车辆系统仅能被动接收并执行驾驶员发出的控制指令。但该方案虽然实现了基础交互功能,但缺乏对驾驶员当前真实生理状态的主动感知能力,当驾驶员没有输入指令时无法提供干预。第二类方案是基于深度卷积神经网络的单模态表情分类方案,通过直接对驾驶员面部图像进行特征提取并分类,以输出不同状态对应的语义概率。然而,在实际的车载应用场景中,车载摄像头常面临夜间弱光、驾驶员大幅度侧脸、强光直射或面部被遮挡等极端工况。在这些复杂环境下,深度神经网络的输出可靠性会急剧下降,导致模型频繁出现误判,误检率显著升高。
2、由此可见,相关技术难以在复杂的车载动态环境中准确、稳定地识别用户的真实驾驶状态,极易引发对疲劳、分心等危险状态的漏报或误报,进而导致车辆主动安全干预系统无法及时、可靠地触发,存在安全隐患。
技术实现思路
1、本技术实施例提供了一种驾驶状态的识别方法、装置、设备、介质、产品,能够解决单模态识别方案在复杂驾驶工况下准确率低的问题。
2、第一方面,本技术实施例提供了一种驾驶状态的识别方法,该方法包括:
3、获取图像帧序列,图像帧序列中存在包括目标人物的人脸的多帧图像;
4、对多帧图像进行几何特征分析,得到多帧图像中每帧图像的几何特征分析结果,并根据几何特征分析结果生成该图像的第一状态概率分布,第一状态概率分布用于预测该图像中目标人物在多种预设驾驶状态下的概率;
5、对多帧图像中每帧图像进行表情识别处理,生成该图像的第二状态概率分布以及对应的置信度;
6、根据置信度对第一状态概率分布和第二状态概率分布进行加权融合,得到多帧图像中每帧图像的状态分数,状态分数包括对多种预设驾驶状态中每种预设驾驶状态的预测得分;
7、将该图像的状态分数中得分最高的预设驾驶状态,确定为目标人物在该图像中的驾驶状态。
8、第一方面的有益效果:
9、通过融合几何特征分析生成的第一状态概率分布与表情识别生成的第二状态概率分布,实现了底层物理可解释性与高层语义表达能力的异构数据互补;同时基于分类置信度动态调整融合权重,有效均衡了两类来源的可靠性差异。解决了单模态方案在复杂车载场景下的漏报或误判问题,从而显著提高了驾驶状态识别结果的准确率与鲁棒性。
10、在一种可能的实现方式中,对多帧图像进行几何特征分析,得到多帧图像中每帧图像的几何特征分析结果,并根据几何特征分析结果生成该图像的第一状态概率分布,包括:
11、提取多帧图像中每帧图像的静态几何特征;
12、根据多帧图像中每帧图像的静态几何特征及其前序图像的静态几何特征,确定该图像的动态几何特征,前序图像是指时序位于该图像之前且相邻的至少两帧图像,至少两帧图像之间连续;
13、将静态几何特征和动态几何特征确定为几何特征分析结果;静态几何特征的数量为多个,动态几何特征的数量为多个;
14、针对多种预设驾驶状态中每种预设驾驶状态,对几何特征分析结果中的各项几何特征进行加权映射和归一化处理,得到每种预设驾驶状态的概率,并生成第一状态概率分布。
15、在该实现方式中,通过引入前序连续多帧图像的静态几何特征来确定动态几何特征,使得第一状态概率分布的生成不再仅依赖当前单帧数据,而是充分结合了驾驶员过去一段时间的物理行为惯性,有效消除了瞬间动作(如短暂眨眼、揉眼)对单帧判定的干扰,提升了几何状态评估的时序平滑性与抗噪能力。
16、在一种可能的实现方式中,置信度包括每种预设驾驶状态分别对应的子置信度;
17、根据置信度对第一状态概率分布和第二状态概率分布进行加权融合,得到多帧图像中每帧图像的状态分数,包括:
18、获取多帧图像中每帧图像的历史平滑概率分布以及对应的预设历史权重,历史平滑概率分布基于该图像的前序图像的状态概率分布生成;
19、根据每种预设驾驶状态对应的子置信度,确定该预设驾驶状态对应的第一权重和第二权重;第一权重是分配给第一状态概率分布的融合权重,第二权重是分配给第二状态概率分布的融合权重;
20、将该预设驾驶状态在第一状态概率分布中的第一概率与第一权重相乘,得到第一乘积;
21、将该预设驾驶状态在第二状态概率分布中的第二概率与第二权重相乘,得到第二乘积;
22、将该预设驾驶状态在历史平滑概率分布中的历史平滑概率与预设历史权重相乘,得到第三乘积;
23、根据第一乘积、第二乘积、第三乘积之和,确定该预设驾驶状态的预测得分;
24、根据每种预设驾驶状态的预测得分确定状态分数。
25、在该实现方式中,通过为每种预设驾驶状态配置独立的子置信度与对应权重,并结合基于前序图像的历史平滑概率分布,实现了状态级别的精细加权融合。有效避免了状态分数的突变,确保融合输出的状态分数在时序上具备一致性,进一步提升了系统识别的稳定性。
26、在一种可能的实现方式中,该方法还包括:
27、若该图像的几何特征分析结果和第二状态概率分布之间符合预设的冲突判断条件,对该图像的状态分数进行修正,得到修正后的状态分数;
28、将该图像的状态分数中得分最高的预设驾驶状态,确定为目标人物在该图像中的驾驶状态,包括:
29、将该图像的修正后的状态分数中得分最高的预设驾驶状态,确定为目标人物在该图像中的驾驶状态。
30、在该实现方式中,通过预设的冲突判断条件对状态分数进行强制修正,能够在几何物理指标与表情识别结果出现明显逻辑背离时及时纠偏,提高复杂驾驶工况下的识别准确率。
31、在一种可能的实现方式中,多种预设驾驶状态至少包括正常专注、疲劳;几何特征分析结果至少包括眼睛开合度;第一状态概率分布中包括每种预设驾驶状态的第一概率,第二状态概率分布中包括每种预设驾驶状态的第二概率,状态分数中包括每种预设驾驶状态的预测得分;
32、若该图像的几何特征分析结果和第二状态概率分布之间符合预设的冲突判断条件,对该图像的状态分数进行修正,得到修正后的状态分数,包括:
33、若正常专注状态的第二概率超过第一阈值且眼睛开合度小于第一开合度阈值的持续时长均达到第一时长阈值,则将疲劳状态的预测得分修正为第一数值,第一数值是疲劳状态的预测得分与疲劳状态的第一概率之间的最大值;
34、若正常专注状态的第二概率超过第一阈值的持续时长达到第一时长阈值,且预设时间窗口内眼睛开合度小于或等于眼睛开合度阈值的占比大于预设占比阈值,则将疲劳状态的预测得分修正为第一数值。
35、在一种可能的实现方式中,多种预设驾驶状态还包括分心、愤怒、惊讶;几何特征分析结果还包括头部偏转角度、几何变化量、打哈欠次数;
36、若该图像的几何特征分析结果和第二状态概率分布之间符合预设的冲突判断条件,对该图像的状态分数进行修正,得到修正后的状态分数,包括:
37、若正常专注状态的第二概率超过第二阈值且头部偏转角度大于第二角度阈值的持续时长均达到第二时长阈值,则将分心状态对应的预测得分修正为第二数值,第二数值是分心状态对应的预测得分与预设概率值之间的最大值;
38、若惊讶状态的第二概率超过第三阈值,且几何变化量小于预设变化量阈值,则将惊讶状态的预测得分修正为第三数值,第三数值是惊讶状态的预测得分与降权权重之间的乘积,降权权重小于1;
39、若置信度低于低置信度阈值,且第二状态概率分布中第二概率的最高值低于第四阈值,则将第一状态概率分布作为修正后的状态分数。
40、在上述两种实现方式中,针对正常专注、疲劳、分心、愤怒、惊讶等预设状态,构建了基于几何分析结果与表情语义概率的冲突检测及修正规则。当检测到表情识别结果误判疲劳、漏报分心或误报惊讶等逻辑冲突时,系统能够强制执行几何概率兜底修正或降权处理,打破了简单加权融合的局限性,在表情识别置信度不足或逻辑异常时显著增强了系统的容错能力与决策可靠性。
41、在一种可能的实现方式中,该方法还包括:
42、若愤怒状态的第二概率超过第五阈值,且预设时间窗口内打哈欠次数达到第一次数阈值,且预设时间窗口内眼睛开合度小于或等于眼睛开合度阈值的占比大于预设占比阈值,则将疲劳状态与愤怒状态中预测得分较高者确定为目标人物在该图像中的驾驶状态。
43、在该实现方式中,针对驾驶员处于疲劳与愤怒复合出现的场景,将疲劳预测得分与愤怒预测得分中的较高者确定为最终驾驶状态。这种复合判定策略有效弥补了单一情绪分类器在面对多重状态叠加时的识别盲区,提升了系统对复杂人机交互场景下的情绪识别准确率。
44、在一种可能的实现方式中,该方法还包括:
45、若目标人物在当前帧图像中的驾驶状态为疲劳状态,且疲劳状态的预测得分大于第一分数阈值,且疲劳状态的持续时长达到第一防抖时长,则确定目标人物进入疲劳状态,并输出疲劳干预指令;
46、或者,在确定目标人物进入疲劳状态后,若疲劳状态的预测得分小于第二分数阈值时的持续时长达到第二防抖时长,则确定目标人物退出疲劳状态,并输出疲劳干预解除指令;
47、或者,若目标人物在当前帧图像中的驾驶状态为愤怒状态,且愤怒状态的预测得分大于第三分数阈值,且愤怒状态的持续时长达到第三防抖时长,则确定目标人物进入愤怒状态,并输出愤怒干预指令。
48、在该实现方式中,通过引入迟滞状态机机制,对进入和退出特定驾驶状态的持续时长进行时序计数判定。仅在状态的连续达标时长满足第一防抖时长、或连续低于阈值的时长满足第二防抖时长后,才输出对应指令。该机制避免了因瞬时误判导致车辆干预指令频繁弹跳的问题,显著提升了主动干预系统在实车环境下的执行平稳性和用户信任度。
49、在一种可能的实现方式中,该方法还包括:
50、在第一时段内采集包括目标人物的连续多帧标定图像,第一时段为摄像头开启采集后预设标定时长对应的时段;
51、根据连续多帧标定图像,确定目标人物在正常状态下的眼睛开合度均值和嘴部开合度均值;
52、根据眼睛开合度均值和嘴部开合度均值,生成目标人物对应的个人几何特征阈值,个人几何特征阈值用于几何特征分析;
53、对多帧图像进行几何特征分析,得到多帧图像中每帧图像的几何特征分析结果,包括:
54、根据个人几何特征阈值对多帧图像进行几何特征分析,得到多帧图像中每帧图像的几何特征分析结果。
55、在该实现方式中,通过在摄像头开启后的预设标定时长内,基于连续多帧标定图像为目标人物生成专属的个人几何特征阈值,实现了对驾驶员眼部与嘴部物理状态的个性化校准。该设置从源头上克服了统一阈值方案因不同驾驶员个体面部差异导致的判定基准偏差,使得后续所有几何特征分析的物理尺度精准适配当前用户,大幅提升了特征提取的针对性。
56、第二方面,本技术实施例提供了一种装置,包括:
57、获取模块,用于获取图像帧序列,图像帧序列中存在包括目标人物的人脸的多帧图像;
58、几何分析模块,用于对多帧图像进行几何特征分析,得到多帧图像中每帧图像的几何特征分析结果,并根据几何特征分析结果生成该图像的第一状态概率分布,第一状态概率分布用于预测该图像中目标人物在多种预设驾驶状态下的概率;
59、表情识别模块,用于对多帧图像中每帧图像进行表情识别处理,生成该图像的第二状态概率分布以及对应的置信度;
60、融合模块,用于根据置信度对第一状态概率分布和第二状态概率分布进行加权融合,得到多帧图像中每帧图像的状态分数,状态分数包括对多种预设驾驶状态中每种预设驾驶状态的预测得分;
61、状态识别模块,用于将该图像的状态分数中得分最高的预设驾驶状态,确定为目标人物在该图像中的驾驶状态。
62、第三方面,本技术还提供了一种电子设备。该电子设备包括存储器、一个或多个处理器以及存储在存储器中并可在处理器上运行的计算机程序。该电子设备执行计算机程序时实现上述第一方面任意一种实现方式的方法。
63、第四方面,本技术还提供了一种计算机可读存储介质。计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述第一方面任意一种实现方式的方法。
64、第五方面,本技术还提供了一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现上述第一方面任意一种实现方式的方法。
65、可以理解的是,上述第二到第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com