基于改进YOLO的起重机疲劳驾驶检测方法与流程

本发明涉及疲劳驾驶检测，具体而言，涉及基于改进yolo的起重机疲劳驾驶检测方法。

背景技术：

1、起重机驾驶员长期处于高强度的作业环境中，容易因长时间连续在岗出现疲劳工作的行为。

2、随着人工智能等技术的发展，现有技术开始尝试基于视觉图像分析进行驾驶员疲劳检测，基于各个面部关键目标进行疲劳检测。但是，不同面部关键目标对应的特征参数具有不同的物理意义和变化规律，这种方式需要对人面部的多种特征进行逐一分析、融合，导致算法结构复杂，而且若随着检测技术革新出现新的增面部关键目标，还需要同步增加对应的分析模块，算法扩展性和通用性较差。

3、因此，亟需对基于图像分析的疲劳驾驶检测方法进行优化，实现不同面部关键目标特征的统一分析，提高疲劳驾驶检测方法的通用性和可扩展性。

技术实现思路

1、本发明的目的在于提供基于改进yolo的起重机疲劳驾驶检测方法，其实现了不同面部关键目标特征的统一分析。

2、本发明通过以下技术方案实现：

3、基于改进yolo的起重机疲劳驾驶检测方法，包括以下步骤：

4、通过摄像装置采集驾驶员的视频数据，并按照预设频率从视频数据中提取截止当前时间的n个帧图像，形成图像序列；

5、对图像序列进行图像预处理；

6、基于图像序列，通过改进yolo网络分别获取驾驶员的每个面部关键目标的最终特征参数，面部关键目标的最终特征参数包括其所有像素点中最大行索引和最小行索引的差值的归一化数值，以及最大列索引和最小列索引的差值的归一化数值；

7、基于图像序列的所有面部关键目标的最终特征参数的数值以及其属性，构建统一特征分析模型，属性为正向指标或负向指标，统一特征分析模型用于针对所有面部关键目标进行特征提取；

8、根据特征提取的结果判断驾驶员是否疲劳驾驶。

9、优选地，将所述摄像装置设置在驾驶舱内，且正对所述驾驶员的面部。

10、优选地，对所述图像序列进行图像预处理的方法包括：

11、进行伽玛校正；

12、通过限制对比度自适应直方图均衡化进行图像增强。

13、优选地，所述改进yolo网络包括：

14、骨干层，在骨干层中的csp/conv模块的输出端设置多尺度注意力模块，多尺度注意力模块用于计算通道注意力和空间注意力，依次通过通道注意力和空间注意力对csp/conv模块的输出进行修正得到空间注意力增强特征图；

15、多尺度融合层，采用双向加权特征金字塔网络对空间注意力增强特征图进行特征融合，得到融合特征；

16、解耦检测头，包括公共卷积网络、定位分支、分类分支和关键点分支，定位分支、分类分支和关键点分支均连接到公共卷积网络的输出端，公共卷积网络用于对融合特征进行卷积处理，定位分支用于定位人脸，分类分支用于识别面部关键目标，关键点分支用于提取识别面部关键目标的关键特征点。

17、优选地，计算所述空间注意力增强特征图的方法为：

18、计算所述通道注意力和通道注意力增强特征图：

19、

20、；

21、其中，为sigmoid函数，为全局平均池化函数，为全局最大池化函数，mlp为全连接层，f为csp/conv模块输出的图像特征；

22、计算所述空间注意力和所述空间注意力增强特征图：

23、；

24、；

25、其中，代表卷积核尺寸为的卷积层。

26、优选地，所述定位分支和所述分类分支均采用回归分支结构，包括串联的多个卷积层，且根据各自的识别目标进行对应的参数训练；

27、所述关键点分支的计算方法为：

28、分别获取所有所述面部关键目标的关键点，关键点包括所述面部关键目标在图像中行索引最大的点、行索引最小的点、列索引最大的点和列索引最小的点；

29、计算所述面部关键目标的最大行索引和最小行索引的差值，以及最大列索引和最小列索引的差值，并进行归一化处理。

30、优选地，所述面部关键目标包括左眼、右眼和嘴。

31、优选地，基于图像序列的所有面部关键目标的最终特征参数进行所述特征提取的方法为：

32、分别计算所述图像序列的各个每种所述面部关键目标的所述最终特征参数的平均评价参数和平均变化参数：

33、；

34、；

35、其中，和分别为第种所述面部关键目标的所述最终特征参数的平均评价参数和平均变化参数，为所述图像序列的第帧图中第种所述面部关键目标的最大行索引和最小行索引的差值的归一化数值，分别为所述图像序列的第帧图中第种所述面部关键目标的最大列索引和最小列索引的差值的归一化数值,为相邻两个所述帧图像的提取时间差；

36、构建每种所述面部关键目标的状态评价参数：

37、；

38、其中，为第种所述面部关键目标的状态评价参数，和为权重且相加之和为1，为第种所述面部关键目标的所述最终特征参数的平均评价参数的映射函数，且映射后的数值为负向指标。

39、优选地，若所述为负向指标，所述映射函数的输出为；若所述为正向指标，所述映射函数的输出为。

40、优选地，根据所述特征提取的结果判断驾驶员是否疲劳驾驶的方法为：

41、获取所有所述面部关键目标的状态评价参数的最大值，若最大值超过预设阈值则判断驾驶员疲劳驾驶。

42、本发明的技术方案至少具有如下优点和有益效果：

43、本发明通过改进yolo网络获取驾驶员的各个面部关键目标的最终特征参数，并采用统一的形式描述各面部关键目标的空间变化，为后续相同方式的特征分析提供基础；

44、本发明根据各面部关键目标的最终特征参数及其属性进行统一的特征提取，而无需针对眼、嘴等不同面部关键目标分别建立不同的分析模型，简化了疲劳驾驶检测流程；

45、本发明在特征提取阶段仅利用最终特征参数数值及其对应的指标属性进行分析，而无需依赖面部关键目标所属部位的信息，当增加新的面部关键目标时，仅需确定最终特征参数数值及其对应的指标属性即可接入统一分析流程，无需重新针对性设计新的特征分析算法，提高了系统的扩展能力。

1.基于改进yolo的起重机疲劳驾驶检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于改进yolo的起重机疲劳驾驶检测方法，其特征在于，将所述摄像装置设置在驾驶舱内，且正对所述驾驶员的面部。

3.根据权利要求1所述的基于改进yolo的起重机疲劳驾驶检测方法，其特征在于，对所述图像序列进行图像预处理的方法包括：

4.根据权利要求1所述的基于改进yolo的起重机疲劳驾驶检测方法，其特征在于，所述改进yolo网络包括：

5.根据权利要求4所述的基于改进yolo的起重机疲劳驾驶检测方法，其特征在于，计算所述空间注意力增强特征图的方法为：

6.根据权利要求5所述的基于改进yolo的起重机疲劳驾驶检测方法，其特征在于，所述定位分支和所述分类分支均采用回归分支结构，包括串联的多个卷积层，且根据各自的识别目标进行对应的参数训练；

7.根据权利要求6所述的基于改进yolo的起重机疲劳驾驶检测方法，其特征在于，所述面部关键目标包括左眼、右眼和嘴。

8.根据权利要求1所述的基于改进yolo的起重机疲劳驾驶检测方法，其特征在于，基于图像序列的所有面部关键目标的最终特征参数进行所述特征提取的方法为：

9.根据权利要求8所述的基于改进yolo的起重机疲劳驾驶检测方法，其特征在于，若所述为负向指标，所述映射函数的输出为；若所述为正向指标，所述映射函数的输出为。

10.根据权利要求9所述的基于改进yolo的起重机疲劳驾驶检测方法，其特征在于，根据所述特征提取的结果判断驾驶员是否疲劳驾驶的方法为：