疲劳检测方法、装置、车辆、介质以及程序产品与流程
本技术涉及智能座舱,尤其涉及一种疲劳检测方法、装置、车辆、介质以及程序产品。
背景技术:
1、疲劳驾驶是引发交通事故的主要原因之一,在疲劳状态下,驾驶员的反应速度、判断能力和操作准确性均会显著下降,严重威胁道路交通安全。因此,准确监测驾驶员的疲劳状态并及时预警,对降低交通事故发生率、保障驾乘人员生命财产安全具有重要意义。
2、然而,相关技术中疲劳检测的结果不够准确,导致在实际驾驶场景中难以及时、可靠地识别驾驶员的疲劳状态,使得车辆无法及时基于疲劳状态采取有效的安全措施,为行车安全带来了风险。因此,如何提升疲劳检测的准确性,成为当前亟待解决的问题。
技术实现思路
1、本技术提供一种疲劳检测方法、装置、车辆、介质以及程序产品,用于提升疲劳检测的准确性。
2、第一方面,本技术实施例提供一种疲劳检测方法,包括:基于用户当前的脸部图像,确定用户的眼部关键点、眼部检测框以及第一眼部状态;基于眼部关键点与眼部检测框的匹配结果,确定第二眼部状态;基于第一眼部状态与第二眼部状态,确定用户当前的眼部状态;基于用户当前的眼部状态,确定用户是否疲劳驾驶。
3、本技术实施例至少具有以下有益效果:本技术实施例通过基于用户当前的脸部图像,确定眼部关键点和眼部检测框和第一眼部状态,由于眼部关键点能够提供眼睛的位置信息,眼部检测框能够提供眼睛区域的相关信息,在此基础上,本技术实施例基于眼部关键点与眼部检测框的匹配结果确定第二眼部状态,使得第二眼部状的确定融合了眼部关键点的位置约束和眼部检测框的区域信息,提高了对第二眼部状态判断的准确性。进一步地,本技术实施例基于第一眼部状态与第二眼部状态两种来源的眼部状态共同确定用户当前的眼部状态,避免了单一来源导致的误判和偏差,提高了对用户当前的眼部状态判断的准确性,进而使得基于用户当前的眼部状态确定的用户是否疲劳驾驶的判断结果更加精准,提高了疲劳检测的准确性。
4、在一种可能的实现方式中,基于用户当前的脸部图像,确定用户的第一眼部状态,包括:基于用户当前的脸部图像,确定用户的眼部状态概率值集合,眼部状态概率值集合用于指示用户的眼睛为不同眼部状态的概率值;确定用户的闭眼概率阈值;基于眼部状态概率值集合和闭眼概率阈值,确定第一眼部状态。
5、本技术实施例至少具有以下有益效果:本技术实施例通过确定眼部状态概率值集合,可以量化用户的眼睛处于不同状态(如睁眼状态、闭眼状态)的可能性。在此基础上,由于不同驾驶员的眼睛生理特征存在差异,本技术实施例通过确定用户的闭眼概率阈值,能够适配不同用户的眼部外形、眼睑厚度、眼裂大小等个性化生理特征,避免直接基于眼部状态概率值集合判定第一眼部状态而带来的判断偏差;本技术实施例通过结合眼部状态概率值集合与用户自身的闭眼概率阈值综合判定第一眼部状态,可提高对第一眼部状态判断的准确性。
6、在一种可能的实现方式中,确定用户的闭眼概率阈值,包括:
7、获取参考眼裂高度,参考眼裂高度与预设数量个驾驶员在预设驾驶姿态下的眼裂高度相关;获取用户的基准眼裂高度;基于参考眼裂高度和基准眼裂高度,确定闭眼概率阈值。
8、本技术实施例至少具有以下有益效果:由于参考眼裂高度反映了预设数量个驾驶员在预设驾驶姿态下的眼裂高度,基准眼裂高度反映了用户自身的眼裂尺寸,本技术实施例将参考眼裂高度和基准眼裂高度结合来确定闭眼概率阈值,使得闭眼概率阈值既符合一般驾驶员的驾驶习惯,又能反映用户自身的生理特征,进而提升了闭眼概率阈值的合理性和准确性。
9、在一种可能的实现方式中,闭眼概率阈值与参考眼裂高度正相关,并与基准眼裂高度负相关。
10、本技术实施例至少具有以下有益效果:由于参考眼裂高度反映了预设数量个驾驶员在预设驾驶姿态下的眼裂高度,基准眼裂高度反映了用户自身的眼裂尺寸,本技术实施例通过使闭眼概率阈值与参考眼裂高度正相关,与基准眼裂高度负相关,可以使得闭眼概率阈值可以灵活调整。例如当用户的眼裂尺寸偏大时,基准眼裂高度对应较大,闭眼概率阈值可以相应地降低;而用户的眼裂尺寸偏小时,基准眼裂高度对应较小,闭眼概率阈值可以相应地提高,使得闭眼概率阈值能够根据用户自身的眼裂尺寸自适应调整,避免了因个体生理差异导致的闭眼概率阈值的适配性差的问题,提高了闭眼概率阈值确定的灵活性,进而提高了疲劳检测的准确度。
11、在一种可能的实现方式中,获取用户的基准眼裂高度,包括:获取用户在历史时间段内的多张历史脸部图像中,每张历史脸部图像对应的眼部关键点;基于每张历史脸部图像对应的眼部关键点,确定每张历史脸部图像对应的眼裂高度;根据每张历史脸部图像对应的眼裂高度,获取用户的基准眼裂高度。
12、本技术实施例至少具有以下有益效果:本技术实施例通过获取用户在历史时间段内的多张历史脸部图像中每张图像对应的眼部关键点,并基于眼部关键点确定每张历史脸部图像对应的眼裂高度,从而可以根据多张历史脸部图像的眼裂高度获取用户的基准眼裂高度。由于用户在正常驾驶过程中会自然地眨眼,单张图像的眼裂高度可能受到眨眼等动作的干扰,若仅依据单张图像确定眼裂高度,则可能因该时刻用户恰好处于眨眼状态而导致眼裂高度严重偏小,无法代表用户的真实眼裂尺寸;而本技术实施例基于多张历史脸部图像获取基准眼裂高度,可以避免单张图像中偶然眨眼等动作带来的干扰,使得获取到的基准眼裂高度更能反映用户眼部的真实生理特征,提高了基准眼裂高度的准确性和代表性。
13、在一种可能的实现方式中,根据每张历史脸部图像对应的眼裂高度,获取用户的基准眼裂高度,包括:按照从高到低的顺序,对每张历史脸部图像对应的眼裂高度进行排序,并将排序后位于预设比例位置的眼裂高度作为基准眼裂高度。
14、本技术实施例至少具有以下有益效果:本技术实施例通过将采集到的所有眼裂高度按从低到高的顺序排列后,将位于预设比例位置(例如第75%分位数)的眼裂高度作为基准眼裂高度(通常正常眨眼产生的极小值位于排序序列的最低端,不会影响该预设比例位置的取值),可以使得基准眼裂高度能够有效反映驾驶员在正常清醒状态下眼裂的常态开度,既能排除短暂闭眼事件会降低基准眼裂高度的可能性,也能排除关键点定位不准确或抖动等正向离群值的干扰,使基准眼裂高度的获取更加准确稳定。
15、在一种可能的实现方式中,眼部状态概率值集合包括:用户的眼睛为闭眼状态的第一概率值和用户的眼睛为睁眼状态的第二概率值;基于眼部状态概率值集合和闭眼概率阈值,确定第一眼部状态,包括:在第一概率值大于或等于闭眼概率阈值的情况下,确定第一眼部状态为闭眼状态;在第二概率值大于或等于预设的睁眼概率阈值,且第一概率值小于闭眼概率阈值的情况下,确定第一眼部状态为睁眼状态;在第一概率值小于闭眼概率阈值,且第二概率值小于预设的睁眼概率阈值的情况下,确定第一眼部状态为未知状态。
16、本技术实施例至少具有以下有益效果:本技术实施例通过引入闭眼概率阈值和预设睁眼概率阈值两个判定标准,分别对第一概率值(也即用户的眼睛为闭眼状态的概率值)和第二概率值(也即用户的眼睛为睁眼状态的概率值)进行判断,为第一眼部状态的判定提供了明确的划分依据。由于不同驾驶员的眼部生理特征存在差异,用户的闭眼概率阈值可以反应用户自身的个体特征,预设的睁眼概率阈值则为睁眼状态的判断提供了标准,两者结合提高了第一眼部状态判定的准确性和可靠性。
17、在一种可能的实现方式中,匹配结果包括:匹配和不匹配;基于眼部关键点与眼部检测框之间的匹配结果,确定第二眼部状态,包括:在匹配结果为匹配的情况下,将眼部状态概率值集合中最大的概率值对应的眼部状态作为第二眼部状态;在匹配结果为不匹配的情况下,确定第二眼部状态为未知状态。
18、本技术实施例至少具有以下有益效果:本技术实施例通过在匹配结果为匹配的情况下,将眼部状态概率值集合中最大的概率值对应的眼部状态作为第二眼部状态,在匹配结果为不匹配的情况下,确定第二眼部状态为未知状态,使得第二眼部状态的确定与匹配结果建立了对应关系,匹配结果不同时采用不同的处理策略来确定第二眼部状态,避免了无论匹配结果如何都采用相同方式确定第二眼部状态而可能导致的判定偏差,提高了第二眼部状态确定的准确性。
19、在一种可能的实现方式中,方法还包括:基于眼部关键点,确定关键点外接框;确定关键点外接框与眼部检测框之间的重叠度;在重叠度大于或等于预设重叠阈值的情况下,确定匹配结果为匹配;在重叠度小于预设重叠阈值的情况下,确定匹配结果为不匹配。
20、本技术实施例至少具有以下有益效果:由于重叠度能够反映关键点外接框与眼部检测框在空间位置上的重合程度,当重叠度较高时表明两者空间位置一致、对应于同一只眼睛,当重叠度较低时表明两者空间位置不一致、不对应于同一只眼睛,因此本技术实施例通过将重叠度与预设重叠阈值的比较,能够为匹配结果的判定提供依据,使得匹配结果的确定更加准确和客观。
21、在一种可能的实现方式中,基于第一眼部状态与第二眼部状态,确定用户当前的眼部状态,包括:基于第一眼部状态和第二眼部状态,确定用户当前目标眼的眼部状态;目标眼包括:左眼和/或右眼;基于当前目标眼的眼部状态,确定用户当前的眼部状态。
22、本技术实施例至少具有以下有益效果:本技术实施例通过先基于第一眼部状态和第二眼部状态确定目标眼的眼部状态,再基于目标眼(例如左眼和/或右眼)的眼部状态确定用户当前的眼部状态,提高了对用户当前的眼部状态的判断的灵活性。例如,若当某一侧眼睛因遮挡、光照不均或个体差异导致眼部状态无法获取或不准确时,本技术可以基于另一侧眼睛判断用户当前的眼部状态。又例如,在安全要求较高的场景下,本技术可以同时基于左眼的眼部状态和右眼的眼部状态,共同确定用户当前的眼部状态。可以看出,本技术实施例通过上述对用户当前的眼部状态的灵活判断方式,提高了眼部状态判定结果的可靠性以及场景的适配能力,进而提高了疲劳检测的准确性和灵活性。
23、在一种可能的实现方式中,基于第一眼部状态和第二眼部状态,确定用户当前目标眼的眼部状态,包括:在目标眼的第一眼部状态和目标眼的第二眼部状态均为闭眼状态的情况下,确定当前目标眼的眼部状态为闭眼状态;在目标眼的第一眼部状态和目标眼的第二眼部状态中的其中一项为闭眼状态,另一项为未知状态的情况下,确定当前目标眼的眼部状态为闭眼状态;在目标眼的第一眼部状态和目标眼的第二眼部状态中的至少一项为睁眼状态,或目标眼的第一眼部状态和目标眼的第二眼部状态均为未知状态的情况下,确定当前目标眼的眼部状态为睁眼状态。
24、本技术实施例至少具有以下有益效果:本技术实施例通过为眼部状态的判定配置不同的判断条件,避免了因目标眼的第一眼部状态和目标眼的第二眼部状态不一致时无法确定当前目标眼的眼部状态的问题,提高了对当前目标眼的眼部状态的判定的灵活性。
25、在一种可能的实现方式中,当前目标眼的眼部状态包括当前左眼的眼部状态和当前右眼的眼部状态;基于当前目标眼的眼部状态,确定用户当前的眼部状态,包括:在当前左眼的眼部状态和当前右眼的眼部状态均为闭眼状态的情况下,确定用户当前的眼部状态为闭眼状态;在当前左眼的眼部状态和当前右眼的眼部状态中的至少一项为睁眼状态的情况下,确定用户当前的眼部状态为睁眼状态。
26、本技术实施例至少具有以下有益效果:本技术实施例只有左眼和右眼同时为闭眼时,才判定用户当前眼部状态为闭眼状态;只要有一只眼睛为睁眼或未知,就判定为用户当前眼部状态为睁眼状态;在这种判定条件下,只要用户有任何一只眼睛可能处于非闭眼状态,就不会输出用户当前的眼部状态为闭眼状态的结果,只有在两只眼睛均为闭眼状态时才确定用户当前的眼部状态为闭眼状态,避免了因单眼误判而导致对用户当前的眼部状态误判的问题,提高了用户当前眼部状态判定的准确性。
27、在一种可能的实现方式中,基于用户当前的眼部状态,确定用户是否疲劳驾驶,包括:确定在第一预设时间窗口内采集到的多张脸部图像各自对应的眼部状态,第一预设时间窗口内采集到的多张脸部图像中包括用户当前的脸部图像;基于第一预设时间窗口内采集到的多张脸部图像各自对应的眼部状态,确定用户在第一预设时间窗口内的闭眼率;基于闭眼率,确定用户是否疲劳驾驶。
28、本技术实施例至少具有以下有益效果:由于单张脸部图像的闭眼结果可能来自眨眼动作或检测噪声,仅凭单张脸部图像的眼部状态的判断结果不足以反映驾驶员的真实疲劳程度,因此本技术通过统计第一预设时间窗口内的闭眼率来判断疲劳,能够排除瞬时闭眼动作或单帧检测偏差对判定结果的干扰,使疲劳判断更加稳定,提高了疲劳检测的可靠性。
29、在一种可能的实现方式中,基于闭眼率,确定用户是否疲劳驾驶,包括:获取在第二预设时间窗口内采集到的多张脸部图像,在第二预设时间窗口内采集到的多张脸部图像包括用户当前的脸部图像,第二预设窗口大于第一预设窗口;确定在第二预设时间窗口内采集到的多张脸部图像各自对应的嘴部关键点;基于在第二预设时间窗口内采集到的多张脸部图像各自对应的嘴部关键点,确定用户在第二预设时间窗口内的哈欠次数;基于闭眼率和哈欠次数,确定用户是否疲劳驾驶。
30、本技术实施例至少具有以下有益效果:频繁打哈欠也是疲劳的一种表现,本技术实施例通过获取第二预设时间窗口内的哈欠次数,并将哈欠次数与闭眼率结合起来判断疲劳,一个反映眼部疲劳,一个反映嘴部行为,两者共同确定用户是否疲劳驾驶,能够更全面地判断驾驶员的疲劳状态,减少漏检。
31、在一种可能的实现方式中,基于闭眼率和哈欠次数,确定用户是否疲劳驾驶,包括:基于闭眼率和哈欠次数各自对应的权重系数,对闭眼率和哈欠次数进行加权求和,得到用户的疲劳评分;基于用户的疲劳评分,确定用户的疲劳等级;在疲劳等级达到预设等级的情况下,确定用户疲劳驾驶。
32、本技术实施例至少具有以下有益效果:本技术实施例通过为闭眼率和哈欠次数分别配置权重系数并进行加权求和得到疲劳评分,再根据疲劳评分确定疲劳等级,将疲劳程度量化为不同的等级输出。由于闭眼率和哈欠次数对疲劳的反映程度不同,本技术实施例通过为闭眼率和哈欠次数配置不同的权重系数可以体现两者在疲劳判定中的重要程度差异,可以使得疲劳评分的确定更加合理;进而使得对用户是否疲劳驾驶的判定更加准确。
33、第二方面,本技术实施例提供了一种疲劳检测装置,包括:确定模块;确定模块,用于基于用户当前的脸部图像,确定用户的眼部关键点、眼部检测框以及第一眼部状态;确定模块,还用于基于眼部关键点与眼部检测框的匹配结果,确定第二眼部状态;确定模块,还用于基于第一眼部状态与第二眼部状态,确定用户当前的眼部状态;确定模块,还用于基于用户当前的眼部状态,确定用户是否疲劳驾驶。
34、在一种可能的实现方式中,确定模块,具体用于基于用户当前的脸部图像,确定用户的眼部状态概率值集合,眼部状态概率值集合用于指示用户的眼睛为不同眼部状态的概率值;确定用户的闭眼概率阈值;基于眼部状态概率值集合和闭眼概率阈值,确定第一眼部状态。
35、在一种可能的实现方式中,装置还包括:获取模块;获取模块,用于获取参考眼裂高度,参考眼裂高度与预设数量个驾驶员在预设驾驶姿态下的眼裂高度相关;获取用户的基准眼裂高度;确定模块,具体用于基于参考眼裂高度和基准眼裂高度,确定闭眼概率阈值。
36、在一种可能的实现方式中,闭眼概率阈值与参考眼裂高度正相关,并与基准眼裂高度负相关。
37、在一种可能的实现方式中,获取模块,具体用于获取用户在历史时间段内的多张历史脸部图像中,每张历史脸部图像对应的眼部关键点;基于每张历史脸部图像对应的眼部关键点,确定每张历史脸部图像对应的眼裂高度;根据每张历史脸部图像对应的眼裂高度,获取用户的基准眼裂高度。
38、在一种可能的实现方式中,获取模块,具体用于按照从高到低的顺序,对每张历史脸部图像对应的眼裂高度进行排序,并将排序后位于预设比例位置的眼裂高度作为基准眼裂高度。
39、在一种可能的实现方式中,眼部状态概率值集合包括:用户的眼睛为闭眼状态的第一概率值和用户的眼睛为睁眼状态的第二概率值;确定模块,具体用于基于眼部状态概率值集合和闭眼概率阈值,确定第一眼部状态,包括:在第一概率值大于或等于闭眼概率阈值的情况下,确定第一眼部状态为闭眼状态;在第二概率值大于或等于预设的睁眼概率阈值,且第一概率值小于闭眼概率阈值的情况下,确定第一眼部状态为睁眼状态;在第一概率值小于闭眼概率阈值,且第二概率值小于预设的睁眼概率阈值的情况下,确定第一眼部状态为未知状态。
40、在一种可能的实现方式中,匹配结果包括:匹配和不匹配;确定模块,具体用于在匹配结果为匹配的情况下,将眼部状态概率值集合中最大的概率值对应的眼部状态作为第二眼部状态;在匹配结果为不匹配的情况下,确定第二眼部状态为未知状态。
41、在一种可能的实现方式中,确定模块,还用于基于眼部关键点,确定关键点外接框;确定关键点外接框与眼部检测框之间的重叠度;在重叠度大于或等于预设重叠阈值的情况下,确定匹配结果为匹配;在重叠度小于预设重叠阈值的情况下,确定匹配结果为不匹配。
42、在一种可能的实现方式中,确定模块,具体用于基于第一眼部状态和第二眼部状态,当前目标眼的眼部状态;目标眼包括:左眼和/或右眼;基于当前目标眼的眼部状态,确定用户当前的眼部状态。
43、在一种可能的实现方式中,确定模块,具体用于在目标眼的第一眼部状态和目标眼的第二眼部状态中的至少一项为闭眼状态,且目标眼的第一眼部状态和目标眼的第二眼部状态均不是睁眼状态的情况下,确定当前目标眼的眼部状态为闭眼状态;在目标眼的第一眼部状态和目标眼的第二眼部状态中的至少一项为睁眼状态,或目标眼的第一眼部状态和目标眼的第二眼部状态均为未知状态的情况下,确定当前目标眼的眼部状态为睁眼状态。
44、在一种可能的实现方式中,当前目标眼的眼部状态包括当前左眼的眼部状态和当前右眼的眼部状态;确定模块,具体用于在当前左眼的眼部状态和当前右眼的眼部状态均为闭眼状态的情况下,确定用户当前的眼部状态为闭眼状态;在当前左眼的眼部状态和当前右眼的眼部状态中的至少一项为睁眼状态的情况下,确定用户当前的眼部状态为睁眼状态。
45、在一种可能的实现方式中,确定模块,具体用于确定在第一预设时间窗口内采集到的多张脸部图像各自对应的眼部状态,第一预设时间窗口内采集到的多张脸部图像中包括用户当前的脸部图像;基于第一预设时间窗口内采集到的多张脸部图像各自对应的眼部状态,确定用户在第一预设时间窗口内的闭眼率;基于闭眼率,确定用户是否疲劳驾驶。
46、在一种可能的实现方式中,确定模块,具体用于获取在第二预设时间窗口内采集到的多张脸部图像,在第二预设时间窗口内采集到的多张脸部图像包括用户当前的脸部图像,第二预设窗口大于第一预设窗口;确定在第二预设时间窗口内采集到的多张脸部图像各自对应的嘴部关键点;基于在第二预设时间窗口内采集到的多张脸部图像各自对应的嘴部关键点,确定用户在第二预设时间窗口内的哈欠次数;基于闭眼率和哈欠次数,确定用户是否疲劳驾驶。
47、在一种可能的实现方式中,确定模块,具体用于基于闭眼率和哈欠次数各自对应的权重系数,对闭眼率和哈欠次数进行加权求和,得到用户的疲劳评分;基于用户的疲劳评分,确定用户的疲劳等级;在疲劳等级达到预设等级的情况下,确定用户疲劳驾驶。
48、第三方面,本技术提供了一种车辆,包括如上述第二方面及其任一种可能的实施方式的疲劳检测装置。
49、第四方面,本技术提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,当计算机可读存储介质中存储的计算机执行指令由设备执行时,使得设备执行第一方面或第一方面的任意一种可能的实现方式中的方法。
50、第五方面,本技术提供了一种计算机程序产品,计算机程序产品包括计算机指令,当计算机指令在设备上运行时,使得设备执行第一方面或第一方面的任意一种可能的实现方式中的方法。
51、上述第二方面至第五方面与本技术实施例的第一方面的技术方案相对应,各方面及对应的可行实施方式所取得的有益效果相似,不再赘述。需要说明的是,上述各个方面中的任意一个方面的各种可能的实现方式,在方案不矛盾的前提下,均可以进行组合。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com