一种多特征维度的人员疲劳状态确认方法及装置与流程

1.本发明涉及图像处理技术领域，尤其涉及一种多特征维度的人员疲劳状态确认方法及装置。


背景技术：

2.人体疲劳检测技术在人体健康状况监测等领域有着巨大的应用价值。而基于面部视频的非接触式的疲劳检测既可以避免接触式设备给检测者带来的不适感，也可以保证疲劳检测的准确性。传统的基于面部视频的非接触式的疲劳检测技术一般是采用基于人脸haar特征的adaboost算法，adaboost算法的优点是非常简单、泛化错误率低，可以应用于大部分分类器上，判断疲劳也是一样。但缺点也十分明显，数据的不平衡会导致分类精度下降，并且对离群点敏感也导致adaboost算法易受噪声干扰。
3.随着近年来疲劳检测领域的备受关注，疲劳检测在许多场景都得到了应用，例如专利号为201911258187.4的发明专利公开了一种疲劳驾驶检测装置与方法，该方法用摄像头采集驾驶员图像，并输入至主控模块，主控模块对接收数据进行处理，实时得到疲劳特征参数，并读取存储模块中的疲劳检测标准参数，根据二者比较的结果得到疲劳程度，输出对应控制信号到报警模块，控制报警模块发出设定报警信号。
4.现有技术在使用面部视频数据集对深度神经网络模型进行训练和测试时，训练和测试的场景基本不变，也就是测试者的背景和测试环境的光源基本不变。而在现实应用中，部署好的模型往往要面对来源复杂、场景多样的面部视频，而模型在训练时所使用的数据不可能把以后要面对的所有应用场景都囊括在内，这会导致模型迁移到与训练数据的场景差异较大的应用场景时性能下降，面部疲劳检测试速率大幅下降。再者，现有的基于面部视频进行疲劳判断的技术，往往采用单一的判断维度，而在现实应用中，人的面部疲劳信息往往会有一定的欺骗性，不同的人拥有不同的面部特征，而不同的面部特征对于深度神经网络而言是非常大的干扰。因此，凭借单一的判断维度对疲劳程度进行度量往往是不准确的。


技术实现要素：

5.本发明实施例提供一种多特征维度的人员疲劳状态确认方法及装置，利用mtcnn多任务级联卷积神经网络进行人脸检测，保证在多场景下测试速率；同时利用使用面部信息相关的数据集进行训练efficientdet深度网络，获取多维度特征，最后对面部疲劳状态进行准确地判断。
6.为实现上述目的，本技术实施例的第一方面提供了一种多特征维度的人员疲劳状态确认方法，所述方法包括：
7.通过mtcnn人脸检测神经网络按帧对视频图像进行人脸检测，对含有人脸的视频帧进行标注，得到人脸关键点；
8.根据所述人脸关键点进行计算，得到头部欧拉角，并根据所述头部欧拉角的变化确认工作者的头部疲劳状态；
9.通过efficientdet深度神经网络对所述视频帧进行特征提取，得到所述工作者的眼部信息和嘴部信息；
10.通过efficientdet深度神经网络检测所述眼部信息和所述嘴部信息，得到所述工作者的眼睛闭合程度和哈欠频率，并分别根据所述眼睛闭合程度和所述哈欠频率得到所述工作者的眼部疲劳状态和哈欠状态；
11.根据所述头部疲劳状态、所述眼部疲劳状态和所述哈欠状态，确认所述工作者的疲劳状态。
12.在第一方面的一种可能的实现方式中，所述根据所述人脸关键点进行计算，得到头部欧拉角，并根据所述头部欧拉角的变化确认工作者的头部姿态，具体包括：
13.将所述人脸关键点输入位姿估计库进行估计，得到头部旋转向量；
14.对所述头部旋转向量进行转换，得到头部旋转矩阵；
15.对所述头部旋转矩阵进行计算，得到含有偏航角和滚转角的头部欧拉角；
16.分别根据所述偏航角的变化范围和所述滚转角的变化范围，得到工作者的点头信息和摇头信息；
17.根据所述点头信息和所述摇头信息确认所述工作者的头部疲劳状态。
18.在第一方面的一种可能的实现方式中，所述工作者的眼部疲劳状态的具体获得方式为：
19.对所述眼部信息按时间顺序进行标记，得到眼部状态信息；
20.通过efficientdet深度神经网络检测所述眼部状态信息，生成眨眼信息；
21.根据所述眨眼信息计算所述工作者单位时间内的眼睛闭合程度；
22.若眼睛闭合程度大于或等于预设闭合阈值，所述工作者眼部处于疲劳状态；若眼睛闭合程度小于预设闭合阈值，所述工作者眼部处于正常状态。
23.在第一方面的一种可能的实现方式中，所述工作者的哈欠状态的具体获得方式为：
24.对所述眼部信息按时间顺序进行标记，得到嘴部状态信息；
25.通过efficientdet深度神经网络检测所述嘴部状态信息，生成张嘴信息；
26.根据所述张嘴信息计算所述工作者的哈欠频率；
27.若所述工作者的哈欠频率大于哈欠阈值，所述工作者嘴部处于哈欠状态；若所述工作者的哈欠频率小于或等于哈欠阈值，所述工作者嘴部处于正常状态。
28.在第一方面的一种可能的实现方式中，所述根据所述头部疲劳状态、所述眼部疲劳状态和所述哈欠状态，确认所述工作者的疲劳状态，具体包括：
29.若头部处于疲劳状态或者眼部处于疲劳状态或者嘴部处于疲劳状态，确认所述工作者处于疲劳状态并对所述工作者发出警报。
30.本技术实施例的第二方面提供了一种多特征维度的人员疲劳状态确认装置，包括：
31.人脸检测模块，用于通过mtcnn人脸检测神经网络按帧对视频图像进行人脸检测，对含有人脸的视频帧进行标注，得到人脸关键点；
32.头部检测模块，用于根据所述人脸关键点进行计算，得到头部欧拉角，并根据所述头部欧拉角的变化确认工作者的头部疲劳状态；
33.特征提取模块，用于通过efficientdet深度神经网络对所述视频帧进行特征提取，得到所述工作者的眼部信息和嘴部信息；
34.眼嘴检测模块，用于通过efficientdet深度神经网络检测所述眼部信息和所述嘴部信息，得到所述工作者的眼睛闭合程度和哈欠频率，并分别根据所述眼睛闭合程度和所述哈欠频率得到所述工作者的眼部疲劳状态和哈欠状态；
35.疲劳确认模块，用于根据所述头部疲劳状态、所述眼部疲劳状态和所述哈欠状态，确认所述工作者的疲劳状态。
36.在第二方面的一种可能的实现方式中，所述头部检测模块具体用于：
37.将所述人脸关键点输入位姿估计库进行估计，得到头部旋转向量；
38.对所述头部旋转向量进行转换，得到头部旋转矩阵；
39.对所述头部旋转矩阵进行计算，得到含有偏航角和滚转角的头部欧拉角；
40.分别根据所述偏航角的变化范围和所述滚转角的变化范围，得到工作者的点头信息和摇头信息；
41.根据所述点头信息和所述摇头信息确认所述工作者的头部疲劳状态。
42.在第二方面的一种可能的实现方式中，所述工作者的眼部疲劳状态的具体获得方式为：
43.对所述眼部信息按时间顺序进行标记，得到眼部状态信息；
44.通过efficientdet深度神经网络检测所述眼部状态信息，生成眨眼信息；
45.根据所述眨眼信息计算所述工作者单位时间内的眼睛闭合程度；
46.若眼睛闭合程度大于或等于预设闭合阈值，所述工作者眼部处于疲劳状态；若眼睛闭合程度小于预设闭合阈值，所述工作者眼部处于正常状态。
47.在第二方面的一种可能的实现方式中，所述工作者的哈欠状态的具体获得方式为：
48.对所述眼部信息按时间顺序进行标记，得到嘴部状态信息；
49.通过efficientdet深度神经网络检测所述嘴部状态信息，生成张嘴信息；
50.根据所述张嘴信息计算所述工作者的哈欠频率；
51.若所述工作者的哈欠频率大于哈欠阈值，所述工作者嘴部处于哈欠状态；若所述工作者的哈欠频率小于或等于哈欠阈值，所述工作者嘴部处于正常状态。
52.在第二方面的一种可能的实现方式中，所述根据所述头部疲劳状态、所述眼部疲劳状态和所述哈欠状态，确认所述工作者的疲劳状态，具体包括：
53.若头部处于疲劳状态或者眼部处于疲劳状态或者嘴部处于疲劳状态，确认所述工作者处于疲劳状态并对所述工作者发出警报。
54.相比于现有技术，本发明实施例提供的一种多特征维度的人员疲劳状态确认方法及装置，集成了深度卷积模型mtcnn和深度神经网络efficientdet。通过mtcnn采用三级级联架构分阶段逐步过滤并定位人脸，使用cpu就能达到实时和较高的人脸判断准确率。同时利用efficientdet深度网络获取工作者的面部特征信息后，检测出眼部疲劳状态和嘴部疲劳状态。由于efficientdet深度网络对于各种目标的检测具有非常好的泛化性能，因此利用efficientdet深度网络获取工作者的面部特征信息在复杂场景部署的同时，还能提高疲劳状态检测的准确率。
55.本发明实施例利用两种深度神经网络分别完成人脸定位和人脸特征提取，将两种深度网络的优势充分发挥，增加了深度模型在不同应用场景的鲁棒性，解决了在复杂场景下单一网络性能不佳的问题，确保了通过视频流进行疲劳检测的准确性。此外融合了多视角特征，从单位时间内的眼睛闭合程度、头部欧拉角预测和嘴部哈欠状态三个维度对工作者的疲劳状态进行判断，相比于单一维度的判断，更能起到对工作者的疲劳监督作用，对于提高电网作业的安全性也具有更高的实用意义。
附图说明
56.图1是本发明一实施例提供的一种多特征维度的人员疲劳状态确认方法的流程示意图；
57.图2是本发明一实施例采用的眼部疲劳状态检测方法原理图；
58.图3是本发明一实施例提供的一种多特征维度的人员疲劳状态确认方法的判断逻辑图。
具体实施方式
59.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
60.请参见图1，本发明一实施例提供了一种多特征维度的人员疲劳状态确认方法，所述方法包括：
61.s10、通过mtcnn人脸检测神经网络按帧对视频图像进行人脸检测，对含有人脸的视频帧进行标注，得到人脸关键点。
62.s11、根据所述人脸关键点进行计算，得到头部欧拉角，并根据所述头部欧拉角的变化确认工作者的头部疲劳状态。
63.s12、通过efficientdet深度神经网络对所述视频帧进行特征提取，得到所述工作者的眼部信息和嘴部信息。
64.s13、通过efficientdet深度神经网络检测所述眼部信息和所述嘴部信息，得到所述工作者的眼睛闭合程度和哈欠频率，并分别根据所述眼睛闭合程度和所述哈欠频率得到所述工作者的眼部疲劳状态和哈欠状态。
65.s14、根据所述头部疲劳状态、所述眼部疲劳状态和所述哈欠状态，确认所述工作者的疲劳状态。
66.本发明实施例集成了深度卷积模型mtcnn和深度神经网络efficientdet。mtcnn是一种多任务级联卷积神经网络进行人脸检测的方法，它能输出人脸的检测框和五个人脸关键点的定位，是开源网络中效果最好的人脸检测器。由于mtcnn采用三级级联架构分阶段逐步过滤并定位人脸，使用cpu就能达到实时和较高的准确率(高达90％以上)，对于在复杂环境中搭建人脸检测平台拥有巨大优势，是目前人脸检测领域的标杆。s10中利用了mtcnn采用三级级联架构分阶段逐步过滤并定位人脸，这使得人脸定位快速且准确。
67.在实际应用中，在视频流输入之后，会按帧对图片进行人脸检测，首先调整图片输
入的尺寸，按照图片尺寸大小排序并进行堆叠形成图像金字塔。将图像金字塔输入mtcnn网络中，经过p-net、r-net、o-net三种网络的筛选之后，输出a、b、c三个向量，其中三个向量分别为：a.是否人脸的概率的1*1*2向量(两个值分别为是人脸与不是人脸的概率，输出两个值能方便交叉熵的计算)；b.人脸检测框坐标(左上点和右下点，每个点包含x、y轴信息)1*1*4向量；c.人脸关键点坐标1*1*10向量。人脸关键点坐标包括五个特征点坐标，记为{l_1,l_2,l_(3,)l_4,l_5}。其中l_1至l_5以此为左眼、右眼、鼻子、左嘴角、右嘴角共5个点的位置，每个位置包含x、y轴信息，因此是1*1*10的向量。
68.s11中通过欧拉角的变化判断工作者头部姿态的变化，确定头部姿态需要计算不同姿态对应的三个角度(pitch、yaw、roll)的值范围，绕y轴上下旋转时，认为正在做抬头点头动作，绕z轴左右旋转时，认为正在做左右摇头动作。得到工作者点头、摇头状态信息，通过两者信息得到头部疲劳状态信息。
69.需要注意的是，efficientdet深度网络的训练是基于迁移学习的思想，所以efficientdet深度网络对于各种目标的检测具有非常好的泛化性能。在s12～s13中，在完成了预训练的基础上使用面部信息相关的数据集进行训练，对于获取电网工作者的面部特征信息非常适合。又由于该网络具有体积小、准确率高的双重优势，本系统能在复杂场景部署的同时，还能提高眼部和嘴部疲劳状态检测的准确率。
70.相比于现有技术，本发明实施例提供的一种多特征维度的人员疲劳状态确认方法，结合了深度卷积模型mtcnn和深度神经网络efficientdet。通过mtcnn采用三级级联架构分阶段逐步过滤并定位人脸，使用cpu就能达到实时和较高的人脸判断准确率。同时利用efficientdet深度网络获取工作者的面部特征信息后，检测出眼部疲劳状态和嘴部疲劳状态。由于efficientdet深度网络对于各种目标的检测具有非常好的泛化性能，因此利用efficientdet深度网络获取工作者的面部特征信息在复杂场景部署的同时，还能提高疲劳状态检测的准确率。
71.本发明实施例利用两种深度神经网络分别完成人脸定位和人脸特征提取，将两种深度网络的优势充分发挥，增加了深度模型在不同应用场景的鲁棒性，解决了在复杂场景下单一网络性能不佳的问题，确保了通过视频流进行疲劳检测的准确性。此外融合了多视角特征，从单位时间内的眼睛闭合程度、头部欧拉角预测和嘴部哈欠状态三个维度对工作者的疲劳状态进行判断，相比于单一维度的判断，更能起到对工作者的疲劳监督作用，对于提高电网作业的安全性也具有更高的实用意义。
72.示例性地，所述根据所述人脸关键点进行计算，得到头部欧拉角，并根据所述头部欧拉角的变化确认工作者的头部姿态，具体包括：
73.将所述人脸关键点输入位姿估计库进行估计，得到头部旋转向量。
74.对所述头部旋转向量进行转换，得到头部旋转矩阵。
75.对所述头部旋转矩阵进行计算，得到含有偏航角和滚转角的头部欧拉角。
76.分别根据所述偏航角的变化范围和所述滚转角的变化范围，得到工作者的点头信息和摇头信息。
77.根据所述点头信息和所述摇头信息确认所述工作者的头部疲劳状态。
78.利用mtcnn输出的人脸检测框与人脸五个关键点，将信息输入opencvsolvepnp估计头部姿态，得到旋转向量，由旋转向量可以得到旋转矩阵，公式为：
79.r＝cosθi (1-cosθ)nnx
t
sinθnx^；
80.通过头部旋转矩阵可以得到头部欧拉角，欧拉角分为pitch(围绕x轴旋转)，yaw(围绕y轴旋转)和roll(围绕z轴旋转)三个向量，分别学名俯仰角、偏航角和滚转角。因为3d世界坐标中的运动包含三个自由度，因此使用一个3*3维度的矩阵来表示头部旋转矩阵，表示为：
[0081][0082]
基于旋转矩阵计算欧拉角的公式为：
[0083]
θ
x
＝arctan2(r
32
，r
33
)；
[0084][0085]
θz＝arctan2(r
21
，r
11
)；
[0086]
x、y、z三轴分别对应欧拉角中的yaw、pitch、roll。
[0087]
通过欧拉角的变化判断工作者头部姿态的变化，确定头部姿态需要计算不同姿态对应的三个角度(pitch、yaw、roll)的值范围，绕y轴上下旋转时，认为正在做抬头点头动作，绕z轴左右旋转时，认为正在做左右摇头动作。得到工作者点头、摇头状态信息，通过工作者点头、摇头状态信息得到头部疲劳状态信息。
[0088]
efficientdet深度神经网络在速度和精度之间达到了非常好的平衡，并且在确保了识别速度和精度的前提下，大大减小了神经网络的体积，非常适合符合工业化的需求。视频帧输入efficientdet深度神经网络之后，首先进入骨干网络efficientnet进行初步特征提取以获得p3、p4、p5三个有效特征层，p1、p2特征层由于语义信息过于稀薄，将不采用。
[0089]
在完成特征的初步提取之后，为了使特征具有更高的语义信息，efficientdet创新性的设计了bifpn模块。将骨干网络输出的特征图输入bifpn模块，利用bifpn模块的堆叠，不断进行上采样和下采样的特征融合。其中bifpn模块使用网格搜索得到一个最优的缩放因子，计算公式为：
[0090]wbifpn
＝64*(1.35
φ
),d
bifpn
＝3 φ；
[0091]wbifpn
为通道数，并以1.35倍增长，d
bifpn
则为重复的次数，复合系数φ用来统一缩放网格的宽度、深度和分辨率。对于输入图片的分辨率，efficientdet中使用下式控制：
[0092]rinput
＝512 φ
·
128；
[0093]
经过bifpn层加强特征提取之后，获得高语义信息的有效特征层，将有效特征层输入classnet和boxnet，进行特征预测得到先验框。
[0094]
先验框的数量众多，efficientdet会对先验框进行解码，将对应的先验框的左上角和右下角进行位置的调整，调整完的结果就是预测框的位置。最后进行得分排序和非极大值抑制筛选得到最后的预测框和预测分类得分，完成目标检测任务，得到所述工作者的眼部信息和嘴部信息。
[0095]
在本发明实施例中，面部信息可分为信息源a、信息源b，信息源c。其中信息源a为眼部信息，信息源b为嘴部信息，信息源c为头部信息。信息源a、b采用efficientnet深度目标检测网络从工作者的视频中提取。信息源c为mtcnn人脸检测所得。
[0096]
示例性地，所述工作者的眼部疲劳状态的具体获得方式为：
[0097]
对所述眼部信息按时间顺序进行标记，得到眼部状态信息。
[0098]
通过efficientdet深度神经网络检测所述眼部状态信息，生成眨眼信息。
[0099]
根据所述眨眼信息计算所述工作者单位时间内的眼睛闭合程度。
[0100]
若眼睛闭合程度大于或等于预设闭合阈值，所述工作者眼部处于疲劳状态；若眼睛闭合程度小于预设闭合阈值，所述工作者眼部处于正常状态。
[0101]
对信息源a按照视频帧输入的时间顺序进行标记，记为{k1,k2,...,k
24
}(1≤j≤24)。其中kj为第j帧测试者眼部状态的信息(状态信息包括睁眼状态与闭眼状态，分别用1和0进行表示)，当连续输入24帧的信息之后，由后向前顶替前一帧的状态信息，以此保持眼部状态的更新。
[0102]
对于信息源a，当efficientdet深度网络检测到人眼睁开时，k记为1，当检测到人眼闭合时，k记为0。当k_n＝1且k_(n 1)＝0时，记录一次眨眼。
[0103]
将信息源a按照时间序列记录，得到工作者单位时间内的眼睛闭合程度(perclos)。perclos数值的计算公式为：
[0104][0105]
其中frame为视频帧数，当单位时间内眼睛闭合(眼睑闭合超过80％)帧数占总帧数的比例大于等于阈值35％时，认为工作者眼部处于疲劳状态。
[0106]
示例性地，所述工作者的哈欠状态的具体获得方式为：
[0107]
对所述眼部信息按时间顺序进行标记，得到嘴部状态信息。
[0108]
通过efficientdet深度神经网络检测所述嘴部状态信息，生成张嘴信息。
[0109]
根据所述张嘴信息计算所述工作者的哈欠频率。
[0110]
若所述工作者的哈欠频率大于哈欠阈值，所述工作者嘴部处于哈欠状态；若所述工作者的哈欠频率小于或等于哈欠阈值，所述工作者嘴部处于正常状态。
[0111]
对信息源b按照视频帧输入的时间顺序进行标记，记为{h1,h2,...,h
24
}(1≤j≤50)。其中hj为第j帧测试者嘴部状态的信息(状态信息包括张嘴状态与闭嘴状态)，当连续输入50帧的信息之后，由后向前顶替前一帧的状态信息，以此保持嘴部状态的更新。
[0112]
利用信息源b可以计算出工作者打哈欠的频率，当单位时间内打哈欠的次数超过5次/分钟时，认为工作者嘴部处于疲劳状态。
[0113]
示例性地，所述根据所述头部疲劳状态、所述眼部疲劳状态和所述哈欠状态，确认所述工作者的疲劳状态，具体包括：
[0114]
若头部处于疲劳状态或者眼部处于疲劳状态或者嘴部处于疲劳状态，确认所述工作者处于疲劳状态并对所述工作者发出警报。
[0115]
参见图3，本发明实施例先是通过mtcnn对人间进行检测，获得人脸关键点。基于人脸关键点得到头部特征维度下工作人员的疲劳状态；通过efficientdet深度网络识别出眼部状态，基于perclos算法量化疲劳得到眼部特征维度下工作人员的疲劳状态；通过efficientdet深度网络识别出嘴部状态，进而判断哈欠状态，得到嘴部特征维度下工作人员的疲劳状态。最后从三个维度对工作者的疲劳状态进行判断，相比于单一维度的判断，更能起到对工作者的疲劳监督作用，对于提高电网作业的安全性具有更高的实用意义。
[0116]
本技术一实施例提供了一种多特征维度的人员疲劳状态确认装置，包括人脸检测模块、头部检测模块、特征提取模块、眼嘴检测模块和疲劳确认模块。
[0117]
人脸检测模块，用于通过mtcnn人脸检测神经网络按帧对视频图像进行人脸检测，对含有人脸的视频帧进行标注，得到人脸关键点。
[0118]
头部检测模块，用于根据所述人脸关键点进行计算，得到头部欧拉角，并根据所述头部欧拉角的变化确认工作者的头部疲劳状态。
[0119]
特征提取模块，用于通过efficientdet深度神经网络对所述视频帧进行特征提取，得到所述工作者的眼部信息和嘴部信息。
[0120]
眼嘴检测模块，用于通过efficientdet深度神经网络检测所述眼部信息和所述嘴部信息，得到所述工作者的眼睛闭合程度和哈欠频率，并分别根据所述眼睛闭合程度和所述哈欠频率得到所述工作者的眼部疲劳状态和哈欠状态。
[0121]
疲劳确认模块，用于根据所述头部疲劳状态、所述眼部疲劳状态和所述哈欠状态，确认所述工作者的疲劳状态。
[0122]
示例性地，所述头部检测模块具体用于将所述人脸关键点输入位姿估计库进行估计，得到头部旋转向量；
[0123]
对所述头部旋转向量进行转换，得到头部旋转矩阵；
[0124]
对所述头部旋转矩阵进行计算，得到含有偏航角和滚转角的头部欧拉角；
[0125]
分别根据所述偏航角的变化范围和所述滚转角的变化范围，得到工作者的点头信息和摇头信息；
[0126]
根据所述点头信息和所述摇头信息确认所述工作者的头部疲劳状态。
[0127]
示例性地，所述工作者的眼部疲劳状态的具体获得方式为：
[0128]
对所述眼部信息按时间顺序进行标记，得到眼部状态信息。
[0129]
通过efficientdet深度神经网络检测所述眼部状态信息，生成眨眼信息。
[0130]
根据所述眨眼信息计算所述工作者单位时间内的眼睛闭合程度。
[0131]
若眼睛闭合程度大于或等于预设闭合阈值，所述工作者眼部处于疲劳状态；若眼睛闭合程度小于预设闭合阈值，所述工作者眼部处于正常状态。
[0132]
示例性地，所述工作者的哈欠状态的具体获得方式为：
[0133]
对所述眼部信息按时间顺序进行标记，得到嘴部状态信息。
[0134]
通过efficientdet深度神经网络检测所述嘴部状态信息，生成张嘴信息。
[0135]
根据所述张嘴信息计算所述工作者的哈欠频率。
[0136]
若所述工作者的哈欠频率大于哈欠阈值，所述工作者嘴部处于哈欠状态；若所述工作者的哈欠频率小于或等于哈欠阈值，所述工作者嘴部处于正常状态。
[0137]
示例性地，所述根据所述头部疲劳状态、所述眼部疲劳状态和所述哈欠状态，确认所述工作者的疲劳状态，具体包括：
[0138]
若头部处于疲劳状态或者眼部处于疲劳状态或者嘴部处于疲劳状态，确认所述工作者处于疲劳状态并对所述工作者发出警报。
[0139]
相比于现有技术，本发明实施例提供的一种多特征维度的人员疲劳状态确认装置，集成了深度卷积模型mtcnn和深度神经网络efficientdet。通过mtcnn采用三级级联架构分阶段逐步过滤并定位人脸，使用cpu就能达到实时和较高的人脸判断准确率。同时利用
efficientdet深度网络获取工作者的面部特征信息后，检测出眼部疲劳状态和嘴部疲劳状态。由于efficientdet深度网络对于各种目标的检测具有非常好的泛化性能，因此利用efficientdet深度网络获取工作者的面部特征信息在复杂场景部署的同时，还能提高疲劳状态检测的准确率。
[0140]
本发明实施例利用两种深度神经网络分别完成人脸定位和人脸特征提取，将两种深度网络的优势充分发挥，增加了深度模型在不同应用场景的鲁棒性，解决了在复杂场景下单一网络性能不佳的问题，确保了通过视频流进行疲劳检测的准确性。此外融合了多视角特征，从单位时间内的眼睛闭合程度、头部欧拉角预测和嘴部哈欠状态三个维度对工作者的疲劳状态进行判断，相比于单一维度的判断，更能起到对工作者的疲劳监督作用，对于提高电网作业的安全性也具有更高的实用意义。
[0141]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。